本頁目錄
模型如何使用知識與適應任務?
分別理解語意表示、檢索、微調與模型架構在處理任務時扮演的角色。
- 辨認向量、檢索與微調的不同用途
- 區分模型架構與知識取得方式
選讀,不影響六站學習進度;延伸既有教材。
以下引用既有教材資料,模型名稱、數據、案例與來源尚待核對;其中推演與觀點應與實際觀測分開閱讀。
語意表示與檢索
向量可用來比較表示;檢索系統仍需要資料選擇與結果核對。
Embeddings 把文字轉成向量表示。向量之間的距離可以反映某些相似或相關性;相反的詞也可能因共同語境而接近,結果取決於模型與任務。
微調與 LoRA
微調會調整模型的行為;不同技術在成本與使用限制上各有差異。
預訓練(Pre-training)花費數千萬美元讓模型讀通全世界;而微調(Fine-tuning,業界俗稱洗模型)則是企業崗前培訓,讓模型死守特定業務規則與輸出格式。 LoRA(Low-Rank Adaptation)完全不改動原模型龐大參數,只在旁邊插上小於 1% 的低秩外掛矩陣,幾十 MB 隨插隨換。
花費幾千萬美元、幾萬張 GPU 讀完全世界維基百科與互聯網。模型什麼都懂一點,是通才,但不懂您公司的專屬名詞、隱私數據與特殊業務格式。
拿自家公司的 1,000 條客服對話、法務審查標準或醫療病例,對模型進行「定向特訓」。讓它一張口就是道地的行業行話、死守固定 JSON 格式!
傳統微調要把 80 億個參數全改一遍(顯存爆炸)。LoRA 完全凍結原本大腦,只在旁邊插上兩個極小矩陣(參數不到 1%)!幾十 MB 的外掛包,單張顯卡就能訓完,隨時熱插拔抽換!
在過去,就算用 LoRA 微調一個 8B 模型,也需要一張頂級 A100 GPU;而 Unsloth 徹底顛覆了這一切!它以「手寫 OpenAI Triton GPU 算子與純手工推導反向傳播求導」,徹底消滅了 PyTorch 的記憶體浪費:
• 1 行代碼導出 GGUF / Ollama:微調完成後,只要
model.save_pretrained_gguf("my_model", tokenizer),就能立刻轉成 GGUF 扔進 Ollama 或本機筆電離線運行,打通了「數據 ➔ 微調 ➔ 本機私有化部署」的終極閉環!
MoE 混合專家架構
混合專家是一種模型架構,與是否使用檢索或微調是不同層面的選擇。先看 MoE 的架構與流程 →
以下為原教材圖解;專家分工是比喻,模型數字、速度與成本宣稱尚待逐項核對。實際專家是訓練得到的網路模組,不一定對應明確學科,也不保證固定的效能或成本。
在過去,大模型多採用 Dense(稠密大腦)架構;而現在全球最火紅的模型(如 DeepSeek-V3/R1、Qwen 2.5-Max、Mixtral、Kimi)全面轉向 MoE(Mixture of Experts,混合專家架構)。為什麼它能做到「智商更高、速度更快、成本更低」?用一個「醫院分科會診」的比喻就能徹底秒懂:
• 致命缺點:參數量一旦做到 6,000 億,每講一個字就要把 6,000 億參數全部算一遍,計算極慢、耗電驚人、顯存直接爆滿!
• 神奇優勢:當用戶問「幫我寫 Python 爬蟲」,分診台在 1 毫秒內研判領域,只呼叫 2~3 位代碼專家,其他專家全部休眠關燈!
「解這道微積分題」
計算機率:數學專長 = 98%
僅激活 37B 數學專家 (其餘 634B 休眠)
速度翻倍、算力節省 90%