大語言模型
學習地圖

前文如何帶入這次回答?

聊天畫面保存了什麼,與模型這次收到什麼,是兩件事。

左邊資料櫃保存許多筆記,右邊工作桌只放著本次任務單和選出的筆記。

資料櫃:先存下來聊天紀錄與其他已保存的資訊。

選取

工作桌:本輪 Context這次任務,加上選入的前文、文件或工具結果。

存下來的資訊,要放上這次的「桌面」,這一輪才用得到。

這是外部資訊與本輪輸入的比喻。模型訓練後的參數,另見下方四種「記得」的差別。

  1. 保存歷史應用程式保存對話
  2. 選取內容加入相關訊息
  3. 送出問題提供本次輸入
  4. 生成回答依可用資訊回應

例如,大華說「我的貓叫皮皮」後,應用程式可以在下一輪附上這句話。不同產品也可能使用摘要或其他記憶方式。

Context Window:一次能放多少?

上下文視窗是模型一次處理時可參照的資訊範圍,可能包括指示、歷史訊息、工具結果及生成內容;輸入與輸出的限制和計算方式依模型與服務而異。當內容接近上限,應用程式可能提醒、選取片段或摘要前文。

參考:Anthropic:上下文視窗。

「記得」可能是四種不同的事情

重點不是「有沒有存下來」,而是「這一輪有沒有把它交給模型」。

  1. 先保存歷史對話或長期資訊
  2. 再選取找出本次相關片段
  3. 放入 Context組成這一輪輸入
  4. 模型回應依可用資訊產生內容

例如你保存了「喜歡長條圖」,但系統這次沒有取回,模型仍可能選擇其他圖形。到第二站比較有無前文 →

深入:長期記憶可以保存哪些東西?

常見整理方式包括事實與偏好(語意記憶)、過去發生的事件(情節記憶),以及可重用的做法(程序記憶)。這是整理資訊的方式,不表示每個產品都具備這三套機制。

保存時也要考慮資訊是否過期、如何修正或刪除,以及何時值得取回。摘要與檢索都可能遺漏細節,重要條件應回到來源核對。

參考:CoALA:語言代理人的記憶、動作與決策架構。