本頁目錄
它為什麼記得前文?
應用程式提供哪些先前資訊,會影響模型這次可以依據什麼回答。
用三幕看一次對話
想像大華在聊天時告訴應用程式:「我的貓叫皮皮。」下一次提問時,模型能否使用這個資訊,取決於這次實際送出的內容。
1先前說過的資訊放在哪裡?
聊天應用程式可以保存對話,畫面也可能顯示先前訊息。保存這段內容,與它有沒有被放進下一次輸入,是不同的事。
使用者 → 聊天應用程式
「我叫大華,我的貓叫皮皮。」
應用程式保存這段對話。
2這次只送出新問題
假設應用程式這次沒有附上前文,模型收到的只有問題,沒有貓的名字。
聊天應用程式 → 模型
新問題:「我的貓叫什麼?」
本次輸入未提供名字。
示範回答:目前提供的資訊不足,無法知道貓的名字。
3這次把相關前文一起附上
應用程式選取先前的訊息,與新問題一起送給模型。這次輸入包含可以回答問題的資訊。
聊天應用程式 → 模型
先前訊息:「我叫大華,我的貓叫皮皮。」
新問題:「我的貓叫什麼?」
示範回答:你的貓叫皮皮。以上為教學示範,非即時模型回覆。
對話很長時會怎樣?
上下文視窗是一次可處理內容的容量。應用程式可能選取相關片段、摘要舊對話,或在超出限制時提醒使用者;不同產品的做法並不相同。
帶走這句話對話的連貫性,取決於應用程式在這次提供了哪些資訊。
多輪對話的用量
若每輪都重新送出累積的完整歷史,單次輸入可能隨對話變長;多輪累積用量也會增加。這個例子假設每輪訊息長度相近且完整重送;摘要、選取和快取等方法會改變實際用量與計費。
三輪輸入用量示意假設每輪只新增 100 個輸入 Token,並完整重送之前的輸入、不計回答:三次分別送出 100、200、300,累計 600 個輸入 Token。實際還可能有指引、回答、工具、摘要與快取,應以服務回報及計價方式為準。
查看用量與成本試算 →
進階:展開完整時序
上表是同一例子的簡化時序;實際應用可能使用摘要或其他記憶功能。