大語言模型
學習地圖
本頁目錄

它為什麼記得前文?

應用程式提供哪些先前資訊,會影響模型這次可以依據什麼回答。

  • 分辨畫面保存與本次模型輸入
  • 比較有無前文的差異

用三幕看一次對話

想像大華在聊天時告訴應用程式:「我的貓叫皮皮。」下一次提問時,模型能否使用這個資訊,取決於這次實際送出的內容。

  1. 1先前說過的資訊放在哪裡?

    聊天應用程式可以保存對話,畫面也可能顯示先前訊息。保存這段內容,與它有沒有被放進下一次輸入,是不同的事。

    使用者 → 聊天應用程式
    「我叫大華,我的貓叫皮皮。」
    應用程式保存這段對話。
  2. 2這次只送出新問題

    假設應用程式這次沒有附上前文,模型收到的只有問題,沒有貓的名字。

    聊天應用程式 → 模型
    新問題:「我的貓叫什麼?」
    本次輸入未提供名字。

    示範回答:目前提供的資訊不足,無法知道貓的名字。

  3. 3這次把相關前文一起附上

    應用程式選取先前的訊息,與新問題一起送給模型。這次輸入包含可以回答問題的資訊。

    聊天應用程式 → 模型
    先前訊息:「我叫大華,我的貓叫皮皮。」
    新問題:「我的貓叫什麼?」

    示範回答:你的貓叫皮皮。以上為教學示範,非即時模型回覆。

對話很長時會怎樣?

上下文視窗是一次可處理內容的容量。應用程式可能選取相關片段、摘要舊對話,或在超出限制時提醒使用者;不同產品的做法並不相同。

帶走這句話

對話的連貫性,取決於應用程式在這次提供了哪些資訊。

多輪對話的用量

若每輪都重新送出累積的完整歷史,單次輸入可能隨對話變長;多輪累積用量也會增加。這個例子假設每輪訊息長度相近且完整重送;摘要、選取和快取等方法會改變實際用量與計費。

三輪輸入用量示意

假設每輪只新增 100 個輸入 Token,並完整重送之前的輸入、不計回答:三次分別送出 100、200、300,累計 600 個輸入 Token。實際還可能有指引、回答、工具、摘要與快取,應以服務回報及計價方式為準。

查看用量與成本試算 →
進階:展開完整時序
時間使用者聊天應用程式模型
第一輪提供大華與皮皮的資訊保存訊息,送出本次輸入依收到的內容回答
第二輪,未附前文問貓的名字只送出新問題本次缺少名字
第二輪,附上前文問相同問題選取先前訊息並附上新問題根據提供的前文回答

上表是同一例子的簡化時序;實際應用可能使用摘要或其他記憶功能。