■生成AI (ChatGPT) はどのように会話しているのか その1

生成AIは質問に対して世界中の知識をもとに回答を生成します。
また、事前に学習した知識だけでは答えられない場合はWeb検索を行い、
その結果を基に回答を作成することもあります。
そのため非常に知的に感じられることがあるでしょう。
しかし、一方で「頭が悪いのでは？」と感じることもあります。
例えば次のようなケースです。

1. 会話の文脈が共有されていないとき
これは話がかみ合わないと感じる場面に相当します。
例えば少し前に話した内容をAIが忘れてしまい、
前回の回答を前提にした質問をしても、適切な応答が得られない場合です。

2. 質問者が求めている回答を得られないとき
特に身近な出来事やローカルな知識に基づいた回答を求める場合、
人間と比べて知識のカバー範囲が限られているため、
「的外れな回答をする」と感じることがあるかもしれません。

生成AIの仕組みと会話の文脈の維持

今回は1のケースについて解説します。
生成AIの回答の仕方は、どのようにシステムが構築されているかによって異なります。
同じ生成AIエンジン（例えば GPT4 や GPT3.5）を使用していても、
システムの実装方法によって応答の仕組みが変わります。
特に「会話の文脈が共有されていない」という問題について、
生成AIのAPIレベルでの仕組みを知る必要があります。

生成AIへの問い合わせは、一回ごとに独立したAPIコールとして処理されます。
そのため、基本的には各APIコール間(各質問と質問)に直接のつながりはなく、会話の内容も引き継がれません。
会話の文脈を維持するためには、過去の会話内容をAPIコールのパラメータとして、
毎回送信し履歴として管理する必要があります。

具体的には、以下のように処理します。
1. 生成AIからのレスポンスを取得する
2. そのレスポンスを履歴に追加する
3. 新しい質問を履歴に追加し、次のAPIコール時のパラメータとする

この方法を用いることで会話の流れを維持し、整合性のとれたやりとりが可能になります。
GPTが履歴の内容を解釈することで、文脈のつながった会話が成立します。

Web版のChatGPT（WebUIを備えた標準的なGPT）では、会話の履歴を自動的に管理しています。
そのため、違和感を感じるような文脈のつながらない回答が返ってくることはあまりありません。
しかし、GPTが組み込まれたシステムによっては、履歴管理の機能が備わっていなかったり、
利用できるパラメータのトークン数（バッファの容量）が限られていたりするため、十分な履歴を保持できない場合もあります。
逆にエージェント作成のように、予め設定した指示をAPIコール時に内部的に、毎回自動入力するようなしくみも工夫されています。
これらの仕組みを理解しておくことで、より効果的にGPTを活用できるだけでなく、
システムの動作を深く理解する助けにもなるでしょう。

☎ 052-688-0521　株式会社マイクロリンク　営業部