文字如何切成 Token?
Token 是模型處理文字時使用的單位之一,可能是一個字、詞的一部分或符號。不同模型的分詞方式可能不同。
輸入文字,觀察簡化規則產生的示意片段。
字元數:0 示意 Token 數:0
示意切分,不能作為正式 BPE 或正式計費依據。
數字母為什麼值得驗算?
「strawberry」含有三個 r。模型的回答可能因情境與模型而異;需要精確計數時,可以逐字核對或使用程式工具。
原教材:更多拆字說明
既有教材資料,部分機制與模型表現尚待核對。
為什麼大語言模型連小學生都會的「數字母」都數錯?
你問早期 ChatGPT:「strawberry 裡面有幾個 r?」它會自信地回答「2 個」。這絕非 AI 智商低,而是分詞壓縮帶來的「感官盲區(Sensory Blindness)」!請跟隨下方雙軌流程圖,看清人類眼睛與神經網路的認知鴻溝:
'r',第 8 位是 'r',第 9 位是 'r'。
1 + 1 + 1 = 3。straw ➔ [ 0.34, -0.81, 0.45, ... ] (稻草/吸管概念)berry ➔ [ -0.14, 0.77, 0.62, ... ] (莓果概念)
提示詞物理拆字 (Token Splitting)
指示 Prompt:「請把 strawberry 每個字母用空格分開:s t r a w b e r r y 再數」。強制 Tokenizer 將每個字母切成 1 個 Token,模型重獲視力!
工具調用與 Python 執行 (Tool Calling)
讓 AI 撰寫代碼執行:"strawberry".count("r") ➔ 3。以確定性程式消除機率幻覺,此為 Module 1 數據分析核心理念!
新一代 Reasoning 思維模型
使用 DeepSeek-R1、Claude 3.7 Sonnet 或 o3-mini。模型在 <think> 內建思維鏈中自主拆解字母驗算,自帶自我審查與反思!
Tokenizer 與 BPE 在做什麼?
Tokenizer(分詞器)依詞彙表將文字轉成 Token,再對應到模型使用的編號。BPE 是建立次詞元詞彙表的方法之一,透過反覆合併常見片段形成新的單位;不同模型使用的詞彙表和規則可能不同。
同一句話的 Token 數不一定等於字數或詞數,也不能用固定的中英文倍率推算。下方彩色片段是簡化教學示意;正式用量應以模型的分詞器或服務回報為準。