洞見

約 1 分鐘閱讀作者 AiHPC

「B」愈高,AI 就愈聰明?

ai-literacy
kepu
models
parameters
buying-ai

「B」愈高,AI 就愈聰明?

摘要(TL;DR)。 廠商說 7B70B405B,談的是體型——數十億參數—— 不是智商。更大的模型有更多學習空間。它是否更適合你,取決於訓練數據、架構、 回答時實際啟動多少參數,以及你如何用真實工作測試。把「B」當成容量與成本線索, 而不是智商徽章。

「B」究竟指什麼

在模型名稱裏,B = billions of parameters(數十億參數)

參數是神經網絡裏可調的旋鈕——訓練過程會微調的那些數字。粗略來說:

標籤大概規模日常圖像
7B約 70 億個旋鈕精巧的專科助手——通常跑得快、成本低
70B約 700 億個旋鈕大型通才——容量更大,也更耗算力
100B+千億級以上前沿規模——訓練與上線都昂貴

所以兩張簡報分別寫 7B70B,比較的是模型有多大,就像比較引擎排氣量—— 不是誰一定跑得贏。

容量不是智商

可以把參數想成書架空間

架子愈多,愈能放書。這不保證有更好的館員、更好的書,或能答對的問題。 一間擠滿書、目錄混亂的圖書館,你仍會迷路;一間較小但編排得好的館藏,每天都 可能顯得更「聰明」。

模型也一樣:

  • 訓練數據——模型看過什麼(質素、語言組合、領域)。
  • 訓練方法——練多久、用什麼目標、有什麼安全措施。
  • 架構——旋鈕怎樣接線(包括 Dense 與 Mixture-of-Experts——姊妹篇會再談)。
  • 回答時實際動用的算力——有些大型模型每個 token 只「叫醒」一部分參數; 標題上的 B 可能誇大了實際運行量。
  • 評估方式——排行榜勝出,不等於「懂我們的粵語臨床筆記」或「能正確引用我們的 SOP」。

一個在正確數據上訓練得好的中型模型,往往勝過一個從未學過你世界的大型模型。

為什麼每張簡報都愛寫這個數字

因為它好印、又聽起來精確。買家需要體型訊號;廠商需要差異點。參數量 就變成預設速記——就像當年用「多少萬像素」代表「相機更好」。

速記有用。當唯一準則就不好。

對買家來說,實務問題在下一層:

  1. 它能不能做我們的任務?你的文件與流程做短評測——不要只看別人的 demo。
  2. 跑起來要花多少? 更大通常代表更多 GPU、更多電、更高延遲——除非架構很聰明地 決定哪些旋鈕要開火。
  3. 我們的數據去了哪裏? 對醫院、政府、金融而言,怎樣托管模型,往往比有多少 B 更關鍵。
  4. 我們能否交代答案? 可追溯性、出處引用、審計——模型外圍的管治層——才把漂亮 demo 變成受規管機構留得住的東西。

下次見到「70B」時,可以這樣讀

若簡報開場就甩出更大的 B,不妨這樣問:

「體型有意思。請給我看在我們工作上的評測、運行成本,以及數據放在哪裏。」

這三點答得清楚,「B」就變成有用的背景。答得含糊,更大的 B 多半只是行銷油漆。

這與我們做的事有什麼關係

在 AiHPC,我們更在意在管治之下、切合用途的模型,而不是贏得參數軍備競賽。 OrchAI 讓機構在自己的文件與流程上使用 AI——帶出處引用、可控與評估——底層模型是 7B 還是 70B 都可以。模型大小是旋鈕;信任層才是產品。

想看看實務上長怎樣?與我們聯絡試用演示

常見問題

7B、70B 的「B」是什麼意思? 數十億參數——模型內部可調的旋鈕。是體型標籤,不是智商分數。

更大的模型一定更好嗎? 不一定。更大通常更貴,仍可能在你的真實任務上失手。切合你數據、語言與延遲預算的 較小模型,往往更勝一籌。

是否該完全不理會參數量? 不用忽略——當成粗略的容量與成本訊號即可。接着問訓練了什麼、用你的工作如何評估、 以及可否在你可控的環境運行。

常見問題

與我們聯絡

告訴我們你的場景——醫院、政府或金融。

聯絡 AiHPC

認識 OrchAI

為受規管買家而設的管治型 AI 平台。

探索 OrchAI

其他語言版本 en

AiHPC Innovation Limited · 香港 + 台灣 + 新加坡