大語言模型
學習地圖

MoE 混合專家:模型如何分配運算?

MoE(Mixture of Experts)在部分網路層中,讓不同輸入片段使用不同的專家模組。

可以把路由器想成分流機制:它依照每個 Token 的內部表示,選擇一部分專家參與運算,再把結果交給後續網路處理。

路由器選出部分專家參與本次運算,再合併選中結果。
可左右滑動查看完整圖解。開啟完整圖片
  1. 輸入片段Token 的內部表示進入模型
  2. 路由選擇選出參與運算的專家
  3. 專家處理選中的模組進行計算
  4. 合併結果送往後續網路

稠密架構 Dense

同一層的輸入通常經過同一組運算模組;處理路徑相對固定。

混合專家 MoE

在 MoE 層,路由器為不同 Token 選擇部分專家;模型也有共用元件。

總參數與啟用參數:總參數是整個模型的規模;啟用參數描述處理單一 Token 時所使用的部分參數。啟用較少參數不代表只需載入這些參數,速度與成本也受硬體、通訊和部署方式影響。

「數學專家」或「程式專家」可作為比喻;實際專家是訓練得到的網路模組,不一定對應明確的人類學科。

閱讀原教材的 MoE 完整圖解 →

參考:Hugging Face:Transformer 中的混合專家。