洞見

約 1 分鐘閱讀作者 AiHPC

線上與離線:AI 軟件更新送達的兩種方式

on-prem
self-host
governance-ai
orchai-portal
updates

線上與離線:AI 軟件更新送達的兩種方式

摘要(TL;DR)。 受管治的 AI 系統在上線運行後,依然需要持續更新。若伺服器能連上 registry,更新會以具名的線上包送達——容器映像檔加上安裝配方(Helm chart);若無法隨意連上互聯網,同一個版本也可以包裝成單一離線 tarball 帶進場內,附帶 checksum 與可在套用前核對的簽名。這就是軟件包進門的方式。這並不代表每個場地都與網絡徹底隔絕,它也不是用來限制 agent 行為的沙箱。

星期二的難題

想像一下負責管理伺服器的同事。

新版本準備好了。在一般網絡環境下,他們直接 pull 就好。但在政府局署、診所網絡,或是禁止伺服器隨意連到公開互聯網的實驗室裏,「直接 pull」根本是不可能完成的一句話。然而軟件始終要更新。真正有用的問題是:這個版本究竟要走哪一道門進來?

面對同一次打包,其實有兩道門:

若伺服器能連上 registry若無法隨意連上互聯網
線上包:容器映像檔參照(OCI)加上 Helm chart 套件離線包:該次打包而成的單一 tarball
由網絡負責傳輸由專人透過場地信任的儲存媒體帶進場內
你能說出剛剛拉取的是哪個版本你能說出 tarball 裏面是哪個版本

兩者都綁定明確的版本資訊——產品、發布通道(channel)與版本號——因此「我們安裝了什麼」是一個可以指著名稱核對的標籤,而不是「有人按了一下更新時最新是哪個就裝了哪個」。

在會議室裏,這些字眼到底是什麼意思

OCI 是容器映像檔平常命名與儲存的標準方式。不妨把它想像成軟件外箱上的貨運標籤,而不是什麼新產品。

Helm 是 Kubernetes 本來就懂得閱讀的安裝配方:先啟動哪些元件、依據什麼順序。線上更新就是把特定版本的配方交給你,連同它所需的映像檔參照;當網絡允許時,伺服器就會把它們抓下來。

離線 tarball 則是把那次打包收成單一檔案。無法從公開互聯網拉取映像檔的系統管理員,依然可以在場內接收這份軟件包,完成核對並套用。這個檔案代表的是那次打包的更新——包含該版本指定的 chart 與映像檔。這不代表單一 tarball 就能裝下整個機構裏的所有模型權重(model weights)和每一款選用應用程式。模型檔案走的是它們自有的傳輸路徑;這篇文章談的是軟件更新包。

檔案本身附帶 checksum,方便你核對內容是否完整送達。同時,發布機制的設計也讓簽名能隨離線 tarball 一同傳遞。在套用之前,即使是一台完全沒有網絡的機器,你也可以驗證它確實是由我們打包。這就是軟件包的設計形態,而不是宣稱每棟大樓都已經收到一份簽好名的正式發布。

這份設計負責什麼,又劃清了哪些界線

在同一個會議裏,往往會出現三種容易混淆的概念。以下用最直接的話逐一釐清:

具備氣隙能力是一種部署方式,不是一份「每間機構都斷了網」的名單。 有些場地可以線上拉取更新;有些場地留有一條狹窄的對外通道;也有些場地將伺服器完全封閉,必須由專人攜帶儲存媒體進入。OrchAI Portal 支援本地部署(on-prem),而且在完全無法連接公開互聯網的情況下依然可以運行。這兩種更新包覆蓋了上述整個光譜。但在有人跟你一起坐下來梳理現場的網絡規則之前,它們並不預先界定你的大樓屬於哪一種。

這不是現場的操作手冊(runbook)。 你不會在這裏找到 USB 標籤編號、VLAN 設定或維護變更時段(change window)。那些細節屬於負責管理該場地的團隊。這篇文章的重點,在於軟件更新的交付形態:一個具名的線上包,或者一個單一離線 tarball。

離線包不是 agent 沙箱。 沙箱關心的是邊界約束(containment)——限制使用工具的 agent 在運作時能碰什麼、不能碰什麼;離線包關心的則是當網絡無法向外拉取時,軟件如何送達。把 tarball 帶進大門,與把 agent 關在受控的測試箱裏,本來就是兩件完全不同的工作。如果會議桌上的問題是「agent 到底可以做什麼?」,你需要的是測試框架(harness)與沙箱的討論,而不是眼前這個主題。

這與我們在建的產品有何關係

OrchAI Portal 是企業級的運行環境(enterprise runtime):在受你掌控的基礎設施上,讓軟件在受管治的邊界內運行。無論「從互聯網拉取」行不行得通,更新機制都是讓這個運行環境向前推進的方式。

Library 依然負責存放具出處引用的知識;Agents 依然是同事啟動各項工具的統一入口;Eval 依然是在變更獲得信任前把關品質的閘門。更新包只是軟件版本送達的方式,它不會取代上述工作,更不是第五款獨立產品。

如果下一次內部會議的議題正好是「我們的伺服器不能向外抓更新」,歡迎 聯絡我們 或 試用演示——只要帶上你們的網絡規則就好,現場的操作手冊留給現場。

常見問題

這是否代表每家客戶都完全氣隙離線? 不是。Portal 支援本地部署,包括伺服器完全無法連接公開互聯網的環境。很多場地依然是透過線上更新。準備兩種更新包,是為了讓同一個軟件版本能配合各自的網絡規則。

離線 tarball 算不算 agent 沙箱? 不算。tarball 是伺服器無法向外抓取時,軟件版本送達的方式;沙箱則是限制 agent 使用工具時的權限範圍。

我們怎知道檔案正是你們打包的那一個? 離線包附有 checksum,而且發布架構經過設計,讓簽名能隨 tarball 一同傳遞。在套用更新前你可以先行核對。這篇文章介紹的是這種交付形態,而不是宣稱已有簽好名的發布檔送達你的場地。

常見問題

與我們聯絡

告訴我們你的場景——醫院、政府或金融。

聯絡 AiHPC

認識 OrchAI

為受規管買家而設的管治型 AI 平台。

探索 OrchAI

其他語言版本 en

AiHPC Innovation Limited · 香港 + 台灣 + 新加坡