大語言模型
學習地圖

哪些工作需要交給工具?

計算工具能依公式執行,但如果資料少了一筆,正確的計算仍可能得出不完整的結果。

原始資料 → 確認公式 → 工具計算 → 核對筆數與總和 → 解釋結果
找出漏掉的一筆資料 →

從問題到程式,再到核對

  1. 確認資料欄位、單位與預期筆數
  2. 產生方法檢查公式或程式邏輯
  3. 執行工具在可控環境計算
  4. 交叉核對筆數、總和與合理性

例如三筆 120、80、50 的總和是 250;若最後一筆漏掉,程式仍會正確算出 200,但結果不完整。金融小數、四捨五入與資料型態也要依需求處理,程式執行本身不保證資料或公式正確。

查看舊版雙軌運算圖解 → 原圖保留舊說法與數字,其中「零誤差」等絕對結論未經本次驗證。

參考:Python:浮點數限制。

Evals:把「做得好」變成能檢查的條件

先說清楚什麼算完成,再拿不同情況來測試。

以整理報名表為例,不能只問「回答看起來好不好」,還要檢查真正產生的資料、圖表和操作結果。

這個任務的完成條件

深入:設計三種測試情況
報名表任務的示例測試;不代表已通過實際系統驗證
給系統什麼?預期看見什麼?
欄位完整的報名表產出圖表,總數與有效筆數一致。
包含取消與重複紀錄的表格依約定規則處理,並說明哪些資料被排除。
缺少場次欄位的表格指出資料缺漏並詢問,不自行編造場次。

可用程式檢查筆數與檔案,也可由人檢查圖表是否好懂。若使用模型當評分者,仍要檢查評分規則與偏差,不能把它當成絕對標準答案。

參考:Anthropic:Agent 評測的結構與方法。

Trace:出錯時,看得見做過哪些步驟

Trace 是可觀察的執行紀錄,例如用了哪個工具、提供什麼參數、回傳什麼結果、花了多久,以及在哪一步失敗。

  1. 讀取檔案檔案與欄位是否正確?
  2. 清理與統計哪些列被排除?
  3. 產生圖表使用哪份統計結果?
  4. 檢查產物與完成條件逐項比較

有了這些紀錄,就能區分「資料少了一筆」「工具失敗」和「解釋錯了」。它不代表能讀取模型內部完整的思考過程;保存紀錄時也應避免留下不必要的敏感資料。

回到流程圖,找出每一步的檢查位置 →