大語言模型
學習地圖

文字如何切成 Token?

Token 是模型處理文字時使用的單位之一,可能是一個字、詞的一部分或符號。不同模型的分詞方式可能不同。

輸入文字,觀察簡化規則產生的示意片段。

字元數:0 示意 Token 數:0

示意切分,不能作為正式 BPE 或正式計費依據。

數字母為什麼值得驗算?

「strawberry」含有三個 r。模型的回答可能因情境與模型而異;需要精確計數時,可以逐字核對或使用程式工具。

原教材:更多拆字說明

既有教材資料,部分機制與模型表現尚待核對。

🍓 經典字母計數陷阱視覺解密 · THE STRAWBERRY PARADOX

為什麼大語言模型連小學生都會的「數字母」都數錯?

你問早期 ChatGPT:「strawberry 裡面有幾個 r?」它會自信地回答「2 個」。這絕非 AI 智商低,而是分詞壓縮帶來的「感官盲區(Sensory Blindness)」!請跟隨下方雙軌流程圖,看清人類眼睛與神經網路的認知鴻溝:

👁️ 人類認知路徑 · 字元級光學掃描 (100% 確定) 零認知盲區
01
視網膜光學感應與字元分離
人類肉眼一眼望去,單字被拆解為 10 個清晰分離的英文字母實體:
s t r#1 a w b e r#2 r#3 y
02
大腦指針循序點名比對 (Pointer Scan)
視線由左至右移動:第 3 位是 'r',第 8 位是 'r',第 9 位是 'r'。
03
確定性算術相加
大腦將 3 次命中做累加:1 + 1 + 1 = 3。
🎯 人類結論:精確命中 3 個 'r' (毫無負擔)
🤖 LLM 運算路徑 · BPE 分詞黑盒子 (結構性盲區) 字母實體完全消失
01
BPE 切詞機查字典切塊 (Tokenize)
Tokenizer 追求高壓縮率,將單字直接切成 2 塊語義積木:
Token #1: "straw" ID: 11245 + Token #2: "berry" ID: 32884
02
神經網路高維向量化 (Embedding)
Token 被轉換為 4096 維數學浮點數向量。英文字母完全被封閉在語義箱子裡,模型內部根本看不見字母拼寫!
straw ➔ [ 0.34, -0.81, 0.45, ... ] (稻草/吸管概念)
berry ➔ [ -0.14, 0.77, 0.62, ... ] (莓果概念)
03
注意力偏誤與機率猜測 (Blind Guessing)
模型沒有顯微鏡拆箱看字母!在語料中 "berry" 經常與 "double-r" (如 blueberry) 高度共現,注意力強烈指向「2」,脫口而出「有 2 個」,直接把前面 "straw" 的第 1 個 r 給忘了!
⚠️ 傳統 LLM 結論:頻繁猜錯為「2 個 'r'」
🛠️ 工程實務:徹底破解 Strawberry 陷阱的三大招式
招式 1

提示詞物理拆字 (Token Splitting)

指示 Prompt:「請把 strawberry 每個字母用空格分開:s t r a w b e r r y 再數」。強制 Tokenizer 將每個字母切成 1 個 Token,模型重獲視力!

招式 2

工具調用與 Python 執行 (Tool Calling)

讓 AI 撰寫代碼執行:"strawberry".count("r") ➔ 3。以確定性程式消除機率幻覺,此為 Module 1 數據分析核心理念!

招式 3

新一代 Reasoning 思維模型

使用 DeepSeek-R1、Claude 3.7 Sonnet 或 o3-mini。模型在 <think> 內建思維鏈中自主拆解字母驗算,自帶自我審查與反思!

在實驗室切換文字 →

Tokenizer 與 BPE 在做什麼?

Tokenizer(分詞器)依詞彙表將文字轉成 Token,再對應到模型使用的編號。BPE 是建立次詞元詞彙表的方法之一,透過反覆合併常見片段形成新的單位;不同模型使用的詞彙表和規則可能不同。

同一句話的 Token 數不一定等於字數或詞數,也不能用固定的中英文倍率推算。下方彩色片段是簡化教學示意;正式用量應以模型的分詞器或服務回報為準。

參考:Hugging Face:Tokenizer 與 BPE、Gemini:計算 Token。