洞見
約 1 分鐘閱讀作者 AiHPC
誰用過模型?看得到使用紀錄,不必翻開對話內容
誰用過模型?看得到使用紀錄,不必翻開對話內容
摘要(TL;DR)。 機構一旦讓同事用 AI 模型,很快便會迎來同一個問題:到底誰用了什麼? 真正實用的答案,是一份清楚的使用紀錄——能按團隊、服務與狀態篩選,又不必把每句對話內容整段攤開。 這不是為了長期合規而設的封存檔案庫,不是用來測試品質的 Eval,更無法替代 Agent 使用工具時所需的沙箱。
開放使用之後,必然會出現的那句追問
無論是政府部門還是大型企業,引入 AI 之初往往都很爽快:
「大家可以用 AI 了。」
但不出一個星期,負責 IT、資訊保安,或者準備要向審計人員交代的朋友,就會走到桌邊問一句:
「我們能不能查到到底是誰在用?」
這句問題,跟「把每位同事問過的內容全部印出來」完全是兩回事。 把對話內容整份翻出來,本身就是私隱問題。管理員第一時間真正需要的,其實是一份打開就查得到、看得明白的使用紀錄:是誰、用了哪個服務、結果是成功還是出錯、在什麼時候發生。
這就好比商業大廈地下的訪客登記冊——保安只需要登記誰在什麼時候進出大樓,而不是在每個房間裝錄音機,把所有對話錄下來。
這份紀錄負責什麼,又不負責什麼
在企業環境裏,「管治」這兩個字往往容易被過度包裝。簡報上寫一句「我們有 audit 功能」,聽起來無所不能;但落到日常工作,大家需要的其實是一句具體的老實話:「管理員能篩選誰用了哪個服務,而且不必翻開大家的對話內容。」
我們不妨把這條界線劃得清清楚楚:
| 實際需要 | Request logs(這份紀錄) | 另一套獨立設計 |
|---|---|---|
| 誰用了哪個模型服務? | 可以——顯示使用者、團隊、API key、哪個服務與狀態 | — |
| 快速過濾雜訊 | 可以——按團隊、服務、狀態(成功或出錯)篩選 | — |
| 查看提問與回覆全文 | 不行——列表不會顯示提示與回覆 | 若真有必要,那是更嚴格的資料保留政策 |
| 替監管機構保存數年證據 | 不行——僅保留近期紀錄(數小時至一星期),不是永久檔案庫 | 法律保留與檔案室存檔需另行規劃 |
| 在上線前確保回答質素 | 不行 | 這是 OrchAI Eval 的工作(品質把關) |
| 防止 Agent 擅自越權使用工具 | 不行 | 需要沙箱與人工審批(另一篇文章) |
在 OrchAI Portal 上,管理員實際上能做什麼?
在 OrchAI Portal 裏,管理模型使用的地方設有 Request logs(請求紀錄) 頁面,專門處理這項工作。
管理員在畫面上可以做到:
- 清楚看到誰用了哪個服務,以及結果是成功還是出錯。
- 依照團隊、服務與狀態篩選。
- 只看見自己獲授權查看的 API key——不會把全機構所有憑證一次過列出。
但在這個列表裏,管理員無法捲動查看任何人輸入過的提問全文。這正是產品設計的核心:只看見使用軌跡,不必翻開提問內容。
同時,這份紀錄的定位是近期使用(數小時至一星期)。它的存在,是為了解答「剛才發生了什麼事」,而不是「匯出過去七年資料交給檔案室」。如果機構需要符合特定法規的永久存檔,那是另一場嚴肅的架構討論,切勿把這頁紀錄當作檔案庫。
釐清關於「管治」的三種不同擔憂
很多時候,大家容易把對 AI 的種種擔憂,通通塞進「審計(audit)」這同一個名詞裏。但冷靜拆解下來,管理團隊面對的其實是三個截然不同的問題:
- 誰用過這道門? —— 這是使用紀錄(Request logs)。
- 回答質素是否依然可靠? —— 這是測試套件與品質評測(OrchAI Eval)。
- Agent 拿到工具後到底可以做什麼? —— 這是沙箱、權限與人工審批。
這篇文章談的,正是第 (1) 點。
第 (2) 點是 OrchAI Eval 的工作——它是在系統變更上線前,用測試題為輸出品質把關,而不是讓管理員翻看日誌的工具。
至於第 (3) 點,正是我們在「模型本身還不是代理」中討論過的重點:一旦賦予模型使用外部工具的能力,「再試一次」隨時可能變成走出測試範圍。Request logs 提供清楚的使用紀錄,能補上「誰用過」這一環;但它無法取代沙箱的隔離。
這與我們構建的產品體系有何關係?
OrchAI Portal 是企業日常運作的核心平台:提供單點登入、按角色劃分權限,為團隊構建一個受管治的工作環境——這自然包括各團隊日常會用的模型服務。Request logs 只是這個服務上的管理功能,它不是一條全新的產品線。
在整個產品體系裏,分工依然清晰:Library 負責保管附帶真實出處的機構知識;Agents 是同事日常協作的大門;Eval 則專注把關每一次模型更新與變更的輸出質素。
如果你的機構已經向同事宣布「大家可以用 AI 模型了」,而接下來內部會議正要討論「我們到底查不查得到是誰在用」,歡迎 與我們聯絡 或 試用演示。不妨帶著大廈訪客登記冊的思路前來交流——真正有用的管治,從來不需要大家把每一句提問截圖貼上簡報。
常見問題
這是一套完整的合規或永久檔案存檔嗎? 不是。這是一份近期的使用紀錄,方便管理員按團隊、服務與狀態排查,回看時間大約由數小時至一星期。它解答的是「誰用了什麼」,而不是「替審計人員永久封存每一句提問」。
這是 OrchAI Eval 嗎? 不是。Eval 是系統變更上線前的品質把關,用測試題檢查輸出會否變差;Request logs 則是模型服務上的日常使用紀錄,兩者不是同一件事。
管理員實際上能看到什麼? 可以看到誰(使用者、團隊或 API key)在何時用了哪個服務、成功與否,以及用了多久、用了多少。畫面不會顯示提問內容與模型回覆。篩選包括團隊、服務及狀態。
常見問題
其他語言版本 en