模型與資料:LLM 如何產生回答?
模型根據本次可用的上下文,逐步選出後續的文字片段。
EP0 神明的後台|LLM 基礎:Token、機率與生成2:13 · 點開觀看
模型怎麼處理文字?為什麼講得順,仍可能講錯?
- 輸入問題送出文字
- 切分文字形成處理單位
- 結合上下文評估候選片段
- 逐步生成選取並接續
選出的片段會加入上下文,然後再進行下一步。應用程式是否另外搜尋資料或使用工具,要看系統的實際設計。
從第一站理解回答 →模型參數和這次提供的資料
預訓練會從大量資料調整模型參數;回答時,模型利用已訓練的參數與本次上下文,計算後續 Token 的可能性。一次對話不等於立即改寫模型權重;產品是否保存訊息或用資料訓練,取決於服務設定與條件。
模型裡面又分成哪些工作?
許多 LLM 使用 Transformer 架構。先把文字轉成數字表示,再逐層計算文字之間的關係,估計接下來的 Token。
- 文字切片Token 轉成數字表示
- 計算關聯結合可用上下文
- 更新表示經過多層處理
- 產生輸出選擇下一個 Token
- Transformer
模型架構 - 一種處理序列的神經網路架構。許多語言模型以它或其變體為基礎,使用 Attention 等運算來處理上下文。
- Attention
注意力機制 - 讓不同位置的資訊按計算出的權重互相影響。這是數學運算,不等於人類的注意或理解,也不是完整的決策解釋。
- Inference
推論 - 使用已訓練的模型來處理輸入、產生輸出的過程。它和用資料調整模型參數的「訓練」是不同階段。
深入:MoE 和多個 Agent 是同一件事嗎?
MoE 是模型內部選用部分專家模組的方式;Multi-agent 則是應用系統安排多個角色分工。可以把它們分別放在「模型裡面」與「系統如何協作」兩個層次。