大語言模型
學習地圖
本頁目錄

模型如何使用知識與適應任務?

分別理解語意表示、檢索、微調與模型架構在處理任務時扮演的角色。

  • 辨認向量、檢索與微調的不同用途
  • 區分模型架構與知識取得方式

選讀,不影響六站學習進度;延伸既有教材。

以下引用既有教材資料,模型名稱、數據、案例與來源尚待核對;其中推演與觀點應與實際觀測分開閱讀。

語意表示與檢索

向量可用來比較表示;檢索系統仍需要資料選擇與結果核對。

06 / GEOMETRIC SEMANTICS Cosine Similarity: cos(θ)
Embeddings(向量嵌入空間)
「文字的宇宙 GPS 座標,讓電腦用幾何距離理解意義」

Embeddings 把文字轉成向量表示。向量之間的距離可以反映某些相似或相關性;相反的詞也可能因共同語境而接近,結果取決於模型與任務。

語意空間測量流程圖:詞彙到高維座標
💬輸入文字 ("貓咪") ➔ 🧭1536 維座標投影機 ➔ 📐[0.82, 0.15, -0.4...] ➔ 🎯餘弦相似度測距
經典向量數學:👑 國王 - 👨 男人 + 👩 女人 ≈ 👸 女王
💡 RAG 知識庫真相: 檢索可以採用關鍵字、向量或混合方法;向量相似度不是唯一方式,檢索後仍要核對來源與內容。

微調與 LoRA

微調會調整模型的行為;不同技術在成本與使用限制上各有差異。

08 / MODEL ADAPTATION & UNSLOTH PEFT · Low-Rank Adaptation
Fine-tuning(微調 / 洗模型)與 LoRA(低秩適應)
「凍結通用大腦,只插極小專屬外掛矩陣;Unsloth 手寫算子提速 5 倍」

預訓練(Pre-training)花費數千萬美元讓模型讀通全世界;而微調(Fine-tuning,業界俗稱洗模型)則是企業崗前培訓,讓模型死守特定業務規則與輸出格式。 LoRA(Low-Rank Adaptation)完全不改動原模型龐大參數,只在旁邊插上小於 1% 的低秩外掛矩陣,幾十 MB 隨插隨換。

🎓 預訓練(Pre-training)= 讀完大學通識

花費幾千萬美元、幾萬張 GPU 讀完全世界維基百科與互聯網。模型什麼都懂一點,是通才,但不懂您公司的專屬名詞、隱私數據與特殊業務格式。

🎯 微調(Fine-tuning / 洗模型)= 企業崗前培訓

拿自家公司的 1,000 條客服對話、法務審查標準或醫療病例,對模型進行「定向特訓」。讓它一張口就是道地的行業行話、死守固定 JSON 格式!

🧩 LoRA(低秩適應)= 輕量熱插拔外掛

傳統微調要把 80 億個參數全改一遍(顯存爆炸)。LoRA 完全凍結原本大腦,只在旁邊插上兩個極小矩陣(參數不到 1%)!幾十 MB 的外掛包,單張顯卡就能訓完,隨時熱插拔抽換!

🦥
Unsloth AI(unsloth.ai):全球開發者狂熱的微調加速神庫
創辦人:Daniel Han & Michael Han 兄弟 · 開源熱門度 No.1
🦥 訪問 unsloth.ai 官網 ➔

在過去,就算用 LoRA 微調一個 8B 模型,也需要一張頂級 A100 GPU;而 Unsloth 徹底顛覆了這一切!它以「手寫 OpenAI Triton GPU 算子與純手工推導反向傳播求導」,徹底消滅了 PyTorch 的記憶體浪費:

🚀 訓練速度飆升
2x ~ 5x 提速
長文本下更高達 30x
💾 顯存消耗狂降
-70% ~ 80%
徹底根絕 CUDA OOM 爆顯存
🎯 精度損失
0% 零損失
數學精度 100% 吻合
💻 平民硬體支援
RTX 3090/4090
免費 Colab T4 亦可微調
• 支援全明星陣容:Llama 3.3/3.2、DeepSeek-R1(支援 GRPO 深度推理微調)、Qwen 2.5、Mistral、Gemma 2。
• 1 行代碼導出 GGUF / Ollama:微調完成後,只要 model.save_pretrained_gguf("my_model", tokenizer),就能立刻轉成 GGUF 扔進 Ollama 或本機筆電離線運行,打通了「數據 ➔ 微調 ➔ 本機私有化部署」的終極閉環!
💡 心智模型: 預訓練是讀博通曉古今,微調是入職入行培訓,LoRA 是隨身工牌,Unsloth 是讓培訓加速 5 倍的超級高鐵!

MoE 混合專家架構

混合專家是一種模型架構,與是否使用檢索或微調是不同層面的選擇。先看 MoE 的架構與流程 →

以下為原教材圖解;專家分工是比喻,模型數字、速度與成本宣稱尚待逐項核對。實際專家是訓練得到的網路模組,不一定對應明確學科,也不保證固定的效能或成本。

Architecture Deep Dive 專題圖解:什麼是 MoE(混合專家架構)?為什麼 DeepSeek、Qwen、Kimi 都在用?
2026 前沿模型核心標配

在過去,大模型多採用 Dense(稠密大腦)架構;而現在全球最火紅的模型(如 DeepSeek-V3/R1、Qwen 2.5-Max、Mixtral、Kimi)全面轉向 MoE(Mixture of Experts,混合專家架構)。為什麼它能做到「智商更高、速度更快、成本更低」?用一個「醫院分科會診」的比喻就能徹底秒懂:

🏥 傳統 Dense 架構(鄉村全科醫生) 全腦啟動
• 運作方式:不論病人是感冒喉嚨痛、骨折、還是要做複雜心臟手術,全院所有醫護人員(所有神經元參數)必須全體集合一起動員。
• 致命缺點:參數量一旦做到 6,000 億,每講一個字就要把 6,000 億參數全部算一遍,計算極慢、耗電驚人、顯存直接爆滿!
🏛️ 現代 MoE 架構(綜合大醫院+分診台) 按需動態激活
• 運作方式:大腦內部拆解為數十位專科專家(代碼專家、數學專家、歷史專家...)。大門口設有「門控分診台(Router / Gating Network)」。
• 神奇優勢:當用戶問「幫我寫 Python 爬蟲」,分診台在 1 毫秒內研判領域,只呼叫 2~3 位代碼專家,其他專家全部休眠關燈!
⚡ MoE 呼叫流程視覺化:以 DeepSeek-V3 總參數 671B(激活 37B)為例
① 用戶提問
「解這道微積分題」
➔
② 門控路由器 (Router)
計算機率:數學專長 = 98%
➔
③ 激活對應專家
僅激活 37B 數學專家 (其餘 634B 休眠)
➔
④ 飛速輸出解答
速度翻倍、算力節省 90%
💡 為什麼 MoE 是 2026 年大殺器? 它徹底化解了「知識量要大」與「推理速度要快」的物理矛盾——讓模型具備萬億級百科全書的知識儲備,但在真實計算時卻只消耗小模型的電費與推論顯存!這正是 DeepSeek 與中國開源模型價格能降至每百萬 Tokens 幾美分的核心王牌。