洞見
約 1 分鐘閱讀作者 AiHPC
「B」愈高,AI 就愈聰明?

「B」愈高,AI 就愈聰明?
摘要(TL;DR)。 廠商說 7B、70B、405B,談的是體型——數十億參數—— 不是智商。更大的模型有更多學習空間。它是否更適合你,取決於訓練數據、架構、 回答時實際啟動多少參數,以及你如何用真實工作測試。把「B」當成容量與成本線索, 而不是智商徽章。
「B」究竟指什麼
在模型名稱裏,B = billions of parameters(數十億參數)。
參數是神經網絡裏可調的旋鈕——訓練過程會微調的那些數字。粗略來說:
| 標籤 | 大概規模 | 日常圖像 |
|---|---|---|
| 7B | 約 70 億個旋鈕 | 精巧的專科助手——通常跑得快、成本低 |
| 70B | 約 700 億個旋鈕 | 大型通才——容量更大,也更耗算力 |
| 100B+ | 千億級以上 | 前沿規模——訓練與上線都昂貴 |
所以兩張簡報分別寫 7B 與 70B,比較的是模型有多大,就像比較引擎排氣量—— 不是誰一定跑得贏。
容量不是智商
可以把參數想成書架空間。
架子愈多,愈能放書。這不保證有更好的館員、更好的書,或能答對你的問題。 一間擠滿書、目錄混亂的圖書館,你仍會迷路;一間較小但編排得好的館藏,每天都 可能顯得更「聰明」。
模型也一樣:
- 訓練數據——模型看過什麼(質素、語言組合、領域)。
- 訓練方法——練多久、用什麼目標、有什麼安全措施。
- 架構——旋鈕怎樣接線(包括 Dense 與 Mixture-of-Experts——姊妹篇會再談)。
- 回答時實際動用的算力——有些大型模型每個 token 只「叫醒」一部分參數; 標題上的 B 可能誇大了實際運行量。
- 評估方式——排行榜勝出,不等於「懂我們的粵語臨床筆記」或「能正確引用我們的 SOP」。
一個在正確數據上訓練得好的中型模型,往往勝過一個從未學過你世界的大型模型。
為什麼每張簡報都愛寫這個數字
因為它好印、又聽起來精確。買家需要體型訊號;廠商需要差異點。參數量 就變成預設速記——就像當年用「多少萬像素」代表「相機更好」。
速記有用。當唯一準則就不好。
對買家來說,實務問題在下一層:
- 它能不能做我們的任務? 用你的文件與流程做短評測——不要只看別人的 demo。
- 跑起來要花多少? 更大通常代表更多 GPU、更多電、更高延遲——除非架構很聰明地 決定哪些旋鈕要開火。
- 我們的數據去了哪裏? 對醫院、政府、金融而言,怎樣托管模型,往往比有多少 B 更關鍵。
- 我們能否交代答案? 可追溯性、出處引用、審計——模型外圍的管治層——才把漂亮 demo 變成受規管機構留得住的東西。
下次見到「70B」時,可以這樣讀
若簡報開場就甩出更大的 B,不妨這樣問:
「體型有意思。請給我看在我們工作上的評測、運行成本,以及數據放在哪裏。」
這三點答得清楚,「B」就變成有用的背景。答得含糊,更大的 B 多半只是行銷油漆。
這與我們做的事有什麼關係
在 AiHPC,我們更在意在管治之下、切合用途的模型,而不是贏得參數軍備競賽。 OrchAI 讓機構在自己的文件與流程上使用 AI——帶出處引用、可控與評估——底層模型是 7B 還是 70B 都可以。模型大小是旋鈕;信任層才是產品。
常見問題
7B、70B 的「B」是什麼意思? 數十億參數——模型內部可調的旋鈕。是體型標籤,不是智商分數。
更大的模型一定更好嗎? 不一定。更大通常更貴,仍可能在你的真實任務上失手。切合你數據、語言與延遲預算的 較小模型,往往更勝一籌。
是否該完全不理會參數量? 不用忽略——當成粗略的容量與成本訊號即可。接着問訓練了什麼、用你的工作如何評估、 以及可否在你可控的環境運行。
常見問題
其他語言版本 en