大語言模型
學習地圖

模型與資料:LLM 如何產生回答?

模型根據本次可用的上下文,逐步選出後續的文字片段。

EP0 神明的後台|LLM 基礎:Token、機率與生成2:13 · 點開觀看

模型怎麼處理文字?為什麼講得順,仍可能講錯?

看完想一想:為什麼講得順,不代表講得對?

影片使用生活比喻,正式概念請搭配網頁圖解;片中的數字、引言與產品例子應依原始來源及日期核對。

閱讀對應概念與圖解 → · 查看完整系列

  1. 輸入問題送出文字
  2. 切分文字形成處理單位
  3. 結合上下文評估候選片段
  4. 逐步生成選取並接續

選出的片段會加入上下文,然後再進行下一步。應用程式是否另外搜尋資料或使用工具,要看系統的實際設計。

從第一站理解回答 →

模型參數和這次提供的資料

預訓練會從大量資料調整模型參數;回答時,模型利用已訓練的參數與本次上下文,計算後續 Token 的可能性。一次對話不等於立即改寫模型權重;產品是否保存訊息或用資料訓練,取決於服務設定與條件。

模型裡面又分成哪些工作?

許多 LLM 使用 Transformer 架構。先把文字轉成數字表示,再逐層計算文字之間的關係,估計接下來的 Token。

  1. 文字切片Token 轉成數字表示
  2. 計算關聯結合可用上下文
  3. 更新表示經過多層處理
  4. 產生輸出選擇下一個 Token
Transformer
模型架構
一種處理序列的神經網路架構。許多語言模型以它或其變體為基礎,使用 Attention 等運算來處理上下文。
Attention
注意力機制
讓不同位置的資訊按計算出的權重互相影響。這是數學運算,不等於人類的注意或理解,也不是完整的決策解釋。
Inference
推論
使用已訓練的模型來處理輸入、產生輸出的過程。它和用資料調整模型參數的「訓練」是不同階段。
深入:MoE 和多個 Agent 是同一件事嗎?

MoE 是模型內部選用部分專家模組的方式;Multi-agent 則是應用系統安排多個角色分工。可以把它們分別放在「模型裡面」與「系統如何協作」兩個層次。

參考:Attention Is All You Need、Switch Transformers。