大語言模型
學習地圖

為什麼同一題可能有不同回答?

模型在每一步會形成候選片段的分布,再依設定選取。上下文、取樣方式與其他系統條件都可能影響結果。

同一個問題 → 不同候選片段 → 依設定選取 → 形成不同回答

回答一致不保證正確;回答不同也不必然表示其中一個錯誤。

觀察回答與證據 →

Temperature 與 Top-p

Temperature:分布的變化

較低值通常使選擇偏向機率較高的候選;較高值可能增加變化。數值低不代表答案已查證或每次必然完全相同。

Top-p:候選範圍

依候選機率由高到低,取累計達到門檻的最小集合,再從集合中抽樣。它和 Temperature 控制的是不同環節。

例如候選 A、B、C、D 的機率假設為 45%、30%、15%、10%,Top-p 為 0.8 時,需取 A、B、C 才跨過 80%;此為教學示意。實際支援的參數與選取方式依模型和服務而異。

參考:Google Cloud:生成參數。