前文如何帶入這次回答?
聊天畫面保存了什麼,與模型這次收到什麼,是兩件事。
資料櫃:先存下來聊天紀錄與其他已保存的資訊。
選取
工作桌:本輪 Context這次任務,加上選入的前文、文件或工具結果。
存下來的資訊,要放上這次的「桌面」,這一輪才用得到。
這是外部資訊與本輪輸入的比喻。模型訓練後的參數,另見下方四種「記得」的差別。
- 保存歷史應用程式保存對話
- 選取內容加入相關訊息
- 送出問題提供本次輸入
- 生成回答依可用資訊回應
例如,大華說「我的貓叫皮皮」後,應用程式可以在下一輪附上這句話。不同產品也可能使用摘要或其他記憶方式。
Context Window:一次能放多少?
上下文視窗是模型一次處理時可參照的資訊範圍,可能包括指示、歷史訊息、工具結果及生成內容;輸入與輸出的限制和計算方式依模型與服務而異。當內容接近上限,應用程式可能提醒、選取片段或摘要前文。
參考:Anthropic:上下文視窗。
「記得」可能是四種不同的事情
重點不是「有沒有存下來」,而是「這一輪有沒有把它交給模型」。
模型參數:訓練後留下的能力
像語言模式等資訊分散在參數中,不是一份可以逐筆查閱的聊天紀錄。一般推論不會因為這次聊天就立即改寫它。
聊天紀錄:應用程式存的歷史
畫面上看得到,不代表每一輪都把全部內容送出。應用程式可能挑選、摘要或省略較早內容。
當次 Context:這一輪真的收到的資訊
包含任務、選入的前文、文件或工具結果。可把它理解成這次工作的桌面,空間有限。
長期記憶:留待之後取用的資訊
系統另外保存偏好、事實或工作紀錄,需要時再取回。可以存在檔案或資料庫,並不限定向量資料庫。
- 先保存歷史對話或長期資訊
- 再選取找出本次相關片段
- 放入 Context組成這一輪輸入
- 模型回應依可用資訊產生內容
例如你保存了「喜歡長條圖」,但系統這次沒有取回,模型仍可能選擇其他圖形。到第二站比較有無前文 →
深入:長期記憶可以保存哪些東西?
常見整理方式包括事實與偏好(語意記憶)、過去發生的事件(情節記憶),以及可重用的做法(程序記憶)。這是整理資訊的方式,不表示每個產品都具備這三套機制。
保存時也要考慮資訊是否過期、如何修正或刪除,以及何時值得取回。摘要與檢索都可能遺漏細節,重要條件應回到來源核對。