洞見
網誌與新聞
為醫院、政府與金融機構而寫的keen-expert筆記——清楚易懂、主張有出處。
- 閱讀 →
模型本身還不是代理——為什麼 harness(支架)很重要
代理不只是聰明的模型。它是模型加上工具、記憶、權限、沙箱,以及決定下一步的迴圈。供應商現在把這套支架當成產品來賣——harness。問清楚:權重之外,什麼被治理了?
ai-literacyagentsharnessbuying-aigovernance - 閱讀 →
兩個 Agent,不是一個魔法模型——品牌導入+篩選
呼吸防護密合度測試計劃不需要一個魔法模型。它需要兩個受管治的 agent:品牌導入(以配對量測為口罩品牌打底)與篩選(只在已導入品牌中建議)。證據閘門很重要——臨時晉升不是 ≥99% 宣稱。
orchai-agentsn95fit-testbuying-aigovernance-ai - 閱讀 →
醫院 AI 不能只看基準測試——為什麼上線使用需要不同的監控
公開基準測的是別人的考卷。在醫院裡,臨床人員在真實責任與流程壓力下提出不可預測的問題。同儕審查的部署經驗反覆指向同一件事:監控必須跟著上線使用走——而不只看排行榜。
ai-literacyevalhealthcareclinical-aibuying-ai - 閱讀 →
同一個 API 名稱 ≠ 同一個模型——為什麼靜默升級需要你自己的評估
簡報或 API 上的模型名稱只是標籤,不是凍結的產品。供應商可以在穩定 ID 背後換 checkpoint、在同一個家族名下提供不同產品面,或加上仍然叫「同一個模型」的更快層級。鎖定你評估過的東西——有變動就重跑評估。
ai-literacyevallibrarybuying-aiapi - 閱讀 →
有管治的媒體庫,不是共用 Drive 資料夾
共用 Drive(或 NAS 資料夾)用來存放檔案。給 AI 用的有管治媒體/文件庫,必須檢索正確段落、引用出處、尊重誰可看什麼,並把處理留在你可控範圍。「跟資料夾聊天」若缺這些,只是 demo——不是可上線的知識路徑。
orchai-librarybuying-airaggovernance-aiknowledge - 閱讀 →
算力、大語言模型與訓練——更多 FLOPS 買到什麼
PFLOPS 量度電腦叢集每秒能做多少浮點運算。訓練大型語言模型會一次燒掉大量算力;日常回答(推理)則每天以不同方式消耗算力。更多算力有助容量與速度——但不會自動讓模型更懂你的文件與流程。
ai-literacycomputetrainingllmsbuying-ai - 閱讀 →
「排行榜 SOTA」vs「在我們的工作上合用」
公開排行榜上的 SOTA,代表模型在別人的考卷上表現好。它不代表模型會跟你的 SOP、粵語筆記或合規規則合用。在你自己的工作上做一段短而誠實的評估——弱結果也公開——勝過漂亮的 demo 簡報。
ai-literacyevalbuying-aibenchmarks
閱讀 →Demo 之後:Agents 正式採購單前,買家還要釐清什麼
漂亮的 Agents showcase 證明了大門的形態——登入、按角色的卡片、管理員可控。正式採購單仍需要:每個能力的清晰範圍、接駁邊界、包裝方式、證據關卡,以及數據在哪裏處理。先問清楚這些,才別把 demo 當成交付物。
orchai-agentsbuying-aiprocurementgovernance-aidemo- 閱讀 →
開源權重 vs 封閉模型——你真正可控的是什麼
開源權重(open-weight)讓你下載參數並自行運行(連帶運維責任)。封閉模型通常是把提示送到廠商 API。兩者都不自動更道德或更安全——应按可控、駐留、成本形態,以及出事時誰支援你來選。
ai-literacymodelsopen-weightself-hostbuying-ai
閱讀 →MoE 與 Dense——到底差在哪裏?
Dense 模型大致用整套參數去產生每個 token;Mixture-of-Experts(MoE)可以保留很大的總「B」,但每個 token 通常只啟動一部分專家網絡——因此標題體型、實際算力、成本與延遲可以分道揚鑣。購買前先同時看「總參數」與「啟動參數」。
ai-literacymodelsmoeparametersbuying-ai- 閱讀 →
為什麼我們仍會到場,而不是先回一份長 RFP
長 RFP 要廠商在真正碰過流程之前,用紙上承諾軟件。嵌入式小隊會到場、在買家環境建置,並對「能否上線運行」負責。嚴肅的 Digital Health 與政府 AI 工作,往往這樣開始——而不是先交一份兩百頁回覆。
forward-deployedbuying-aidigital-healthfdegovernance-ai
閱讀 →「B」愈高,AI 就愈聰明?
「B」愈高(數十億參數)只代表模型更大、容量更大,並不自動等於更聰明。架構、訓練數據、實際有多少參數在回答時運作,以及你如何用真實工作評估,往往比簡報上的數字更重要。
ai-literacymodelsparametersbuying-ai
閱讀 →「管治型 AI」是什麼——以及為何你的數據可以留在原地
管治型 AI 是受規管機構能夠信任、能夠交代、能夠持續擴展的 AI——把模型帶到你的數據身邊,而不是把數據送出去。它建基於三大支柱:安全(數據全程不離開你的掌控)、問責(每個答案皆可追溯)、擴展(在不失去監控的前提下成長)。
governance-aion-premiseregulated-aiorchai
閱讀 →OrchAI 正式登場
為何我們打造一個可在你自己的基礎設施上管理大型語言模型的開放平台。
公告orchai