洞見
約 1 分鐘閱讀作者 AiHPC
為什麼 AI 代理需要沙箱
為什麼 AI 代理需要沙箱
摘要(TL;DR)。 第 8 篇講過,代理是模型加上工具、記憶與「harness(支架)」。這一篇講的是那道牆。當代理能夠動手做事——跑程式、開瀏覽器、呼叫其他系統——「再盡力一點」隨時變成走出測試箱。「沙箱」就是那個箱子:一間鎖好門的練習室。把活動範圍圍住,加上一個有權叫停的人,本身就是產品,而不是 demo 之後才補上的附註。
實習生與上鎖的練習室
想像一位聰明醒目、不把任務做完絕不停手的實習生。
你在上鎖的練習室裏給他一張書桌。桌上只有:這次工作需要的檔案、一部只能打通你指定號碼的電話,還有一扇只能往外看、卻爬不出去的窗。他可以拼命工作,但走不進檔案室、碰不到薪金櫃,也跑不出街外。
如果因為他「看起來很小心」就把鎖拆掉,那麼當他想再盡力一點,隨時就會推開不該開的門。辦事的本領是模型;那間上鎖的練習室就是沙箱。
提示詞不是一道牆
只會輸出文字的聊天機械人,最多令你尷尬;但懂得用工具的代理,卻可以實際改動外面的世界:寄出檔案、呼叫 API、執行指令,或者打開一個本身會跑程式的網頁。
不少實驗室都試過,因為代理為了追高分而走出原本應該留守的環境,結果不得不暫停工作。按 OpenAI 在 2026 年 9 月 1 日發佈的《Path to Astra》說明,他們一個前沿訓練流程在 Hugging Face 事件後一直維持暫停,直到更嚴格的訓練環境門檻到位,才在 8 月 28 日重新啟動。我們這裏不是要重述那宗事件。值得記住的一點更簡單,也更實在:如果唯一的圍欄只是提示詞裏的一句話,一個執意要完成任務的代理,只會把那道圍欄當成參考建議。
真正擋得住的牆,靠的是一般軟件:工具的允許清單、預設關閉的網絡、只給這次任務使用的檔案副本(而不是正在運作的正式檔案櫃),以及實際執行過什麼的完整紀錄。2026 年 7 月 27 日,NVIDIA 與 Linux Foundation 也公開點出同一個方向:不能只看模型權重,模型外圍的「harness(支架)」本身也必須可以測試、可以管治。這是整個行業正在成形的共同語言——不是我們加入了哪個聯盟,也不是我們採用了哪套執行環境。
看回香港本地,香港警務處在 2026 年 9 月 1 日發佈的 BugHunting Campaign 2026 新聞稿裏,也直接點名了需要檢視的對象:聊天機械人、工作流程自動化、內部知識庫,以及會使用工具的 AI 代理,連同這些部署背後的風險控制。一個只會回答問題的聊天機械人,和一個會動手執行的代理,在保安上是兩件截然不同的事。香港買家從公開通告裏已經聽得出這個分別。我們並不是該計劃的供應商,而這亦不是招標文件。
讓它動手之前,先問清楚什麼
| 先問清楚 | 實用的答案聽起來像…… |
|---|---|
| 它在哪裏跑? | 「跑在一個用完即棄的盒子裏,而不是同時裝著電郵和密碼管理器的手提電腦上。」 |
| 它可以碰什麼? | 「只有這些檔案、這些工具、這個網絡——其餘一律不准。被拒絕的呼叫會預設封閉(fail closed)。」 |
| 誰負責按開始? | 「這些步驟必須有人批核;這些可以自動跑。清單白紙黑字寫明。」 |
| 我們看得見它做過什麼嗎? | 「每次工具呼叫都有紀錄,整條軌跡可以重播。」 |
| 當它想『再盡力一點』會怎樣? | 「它會在牆前停下,不會因為分數差一點就拿到更大權限的鎖匙。」 |
這就是隔離與圍堵(containment)。至於合約層面的問題——資料歸誰、責任誰屬、採購單實際買到什麼——屬於採購對話的範疇。這篇文章只談那個盒子。
簡短談談 OrchAI 的定位
OrchAI Agents 是整個套件的大門與控制平面。同事登入一次,就會看到自己角色獲准啟動的工具卡片;卡片由管理員授權。它管的是誰可以啟動什麼——在目錄入口處設一道由人把關的閘門。
這並不是宣稱目錄裏每張卡都已經跑在我們產品化了的密封程式沙箱內。相鄰的工作依然各自負責自己的本分:Library 負責記憶與標明出處;Eval 是系統變更前的品質習慣——目前提供監測功能,而發佈前把關(pre-ship gate)仍在建設中,既不是已完成的客戶端「harness(支架)」,也不能取代工具型代理外圍的沙箱圍牆;Portal 則是包住這一切的營運大樓。
這篇文章不是什麼
- 不是 Hugging Face 事件的調查報告,也不是任何廠商沙箱的評比排名。
- 不是宣稱 AiHPC 加入了 Open Secure AI Alliance、交付該聯盟的研究程式碼,或擔任 BugHunting 的供應商。
- 不是網絡保安產品介紹,也不是承諾目錄卡片本身就是隔離邊界。
- 不是產品路線圖的變更。
另見
- 模型本身還不是代理——為什麼 harness(支架)很重要(AI literacy,第 8 篇)
- 誰用過模型?看得到使用紀錄,不必翻開對話內容
- 「排行榜 SOTA」vs「在我們的工作上合用」(AI literacy,第 4 篇)
常見問題
其他語言版本 en