洞見

約 1 分鐘閱讀作者 AiHPC

誰用過模型?看得到使用紀錄,不必翻開對話內容

orchai-portal
governance-ai
audit
operators
api-gateway

誰用過模型?看得到使用紀錄,不必翻開對話內容

摘要(TL;DR)。 機構一旦讓同事用 AI 模型,很快便會迎來同一個問題:到底誰用了什麼? 真正實用的答案,是一份清楚的使用紀錄——能按團隊、服務與狀態篩選,又不必把每句對話內容整段攤開。 這不是為了長期合規而設的封存檔案庫,不是用來測試品質的 Eval,更無法替代 Agent 使用工具時所需的沙箱。

開放使用之後,必然會出現的那句追問

無論是政府部門還是大型企業,引入 AI 之初往往都很爽快:

「大家可以用 AI 了。」

但不出一個星期,負責 IT、資訊保安,或者準備要向審計人員交代的朋友,就會走到桌邊問一句:

「我們能不能查到到底是誰在用?」

這句問題,跟「把每位同事問過的內容全部印出來」完全是兩回事。 把對話內容整份翻出來,本身就是私隱問題。管理員第一時間真正需要的,其實是一份打開就查得到、看得明白的使用紀錄:是誰、用了哪個服務、結果是成功還是出錯、在什麼時候發生。

這就好比商業大廈地下的訪客登記冊——保安只需要登記誰在什麼時候進出大樓,而不是在每個房間裝錄音機,把所有對話錄下來。

這份紀錄負責什麼,又不負責什麼

在企業環境裏,「管治」這兩個字往往容易被過度包裝。簡報上寫一句「我們有 audit 功能」,聽起來無所不能;但落到日常工作,大家需要的其實是一句具體的老實話:「管理員能篩選誰用了哪個服務,而且不必翻開大家的對話內容。」

我們不妨把這條界線劃得清清楚楚:

實際需要Request logs(這份紀錄)另一套獨立設計
誰用了哪個模型服務?可以——顯示使用者、團隊、API key、哪個服務與狀態
快速過濾雜訊可以——按團隊、服務、狀態(成功或出錯)篩選
查看提問與回覆全文不行——列表不會顯示提示與回覆若真有必要,那是更嚴格的資料保留政策
替監管機構保存數年證據不行——僅保留近期紀錄(數小時至一星期),不是永久檔案庫法律保留與檔案室存檔需另行規劃
在上線前確保回答質素不行這是 OrchAI Eval 的工作(品質把關)
防止 Agent 擅自越權使用工具不行需要沙箱與人工審批(另一篇文章)

在 OrchAI Portal 上,管理員實際上能做什麼?

OrchAI Portal 裏,管理模型使用的地方設有 Request logs(請求紀錄) 頁面,專門處理這項工作。

管理員在畫面上可以做到:

  • 清楚看到用了哪個服務,以及結果是成功還是出錯。
  • 依照團隊服務狀態篩選。
  • 只看見自己獲授權查看的 API key——不會把全機構所有憑證一次過列出。

但在這個列表裏,管理員無法捲動查看任何人輸入過的提問全文。這正是產品設計的核心:只看見使用軌跡,不必翻開提問內容

同時,這份紀錄的定位是近期使用(數小時至一星期)。它的存在,是為了解答「剛才發生了什麼事」,而不是「匯出過去七年資料交給檔案室」。如果機構需要符合特定法規的永久存檔,那是另一場嚴肅的架構討論,切勿把這頁紀錄當作檔案庫。

釐清關於「管治」的三種不同擔憂

很多時候,大家容易把對 AI 的種種擔憂,通通塞進「審計(audit)」這同一個名詞裏。但冷靜拆解下來,管理團隊面對的其實是三個截然不同的問題:

  1. 誰用過這道門? —— 這是使用紀錄(Request logs)。
  2. 回答質素是否依然可靠? —— 這是測試套件與品質評測(OrchAI Eval)。
  3. Agent 拿到工具後到底可以做什麼? —— 這是沙箱、權限與人工審批。

這篇文章談的,正是第 (1) 點。

第 (2) 點是 OrchAI Eval 的工作——它是在系統變更上線前,用測試題為輸出品質把關,而不是讓管理員翻看日誌的工具。

至於第 (3) 點,正是我們在「模型本身還不是代理」中討論過的重點:一旦賦予模型使用外部工具的能力,「再試一次」隨時可能變成走出測試範圍。Request logs 提供清楚的使用紀錄,能補上「誰用過」這一環;但它無法取代沙箱的隔離。

這與我們構建的產品體系有何關係?

OrchAI Portal 是企業日常運作的核心平台:提供單點登入、按角色劃分權限,為團隊構建一個受管治的工作環境——這自然包括各團隊日常會用的模型服務。Request logs 只是這個服務上的管理功能,它不是一條全新的產品線。

在整個產品體系裏,分工依然清晰:Library 負責保管附帶真實出處的機構知識;Agents 是同事日常協作的大門;Eval 則專注把關每一次模型更新與變更的輸出質素。

如果你的機構已經向同事宣布「大家可以用 AI 模型了」,而接下來內部會議正要討論「我們到底查不查得到是誰在用」,歡迎 與我們聯絡試用演示。不妨帶著大廈訪客登記冊的思路前來交流——真正有用的管治,從來不需要大家把每一句提問截圖貼上簡報。

常見問題

這是一套完整的合規或永久檔案存檔嗎? 不是。這是一份近期的使用紀錄,方便管理員按團隊、服務與狀態排查,回看時間大約由數小時至一星期。它解答的是「誰用了什麼」,而不是「替審計人員永久封存每一句提問」。

這是 OrchAI Eval 嗎? 不是。Eval 是系統變更上線前的品質把關,用測試題檢查輸出會否變差;Request logs 則是模型服務上的日常使用紀錄,兩者不是同一件事。

管理員實際上能看到什麼? 可以看到誰(使用者、團隊或 API key)在何時用了哪個服務、成功與否,以及用了多久、用了多少。畫面不會顯示提問內容與模型回覆。篩選包括團隊、服務及狀態。

常見問題

與我們聯絡

告訴我們你的場景——醫院、政府或金融。

聯絡 AiHPC

認識 OrchAI

為受規管買家而設的管治型 AI 平台。

探索 OrchAI

其他語言版本 en

AiHPC Innovation Limited · 香港 + 台灣 + 新加坡