コンテキスト
生成AIを使われている方の中には、「コンテキストウィンドウ」「コンテキストの長さ」といった言葉を耳にしたことがある方もいらっしゃるかもしれません。
生成AIにおける「コンテキスト」とは、生成AIが応答を生成する際に参照できる情報の範囲を指します。もう少し具体的に言えば、これまでの会話の履歴、チャットにアップロードしたファイルの内容、システムプロンプト（あらかじめ生成AIの動作を制御する指示）など、生成AIが「見ている」すべての情報が、コンテキストに含まれます。
薬剤師も服薬指導をするときに、薬歴に患者さんのさまざまな情報を記録したり、会話中に新たに得られた情報を頭の中にとどめたりメモしたりすると思います。これらの情報が生成AIで言うところの「コンテキスト」に該当します。
実際の服薬指導においては、これらの情報をもとに、これまでの話の流れや相手の発言、それに加え自分の知識などを組み込みながら進めていくことになりますが、生成AIも同様に、与えられたコンテキストの中から関連情報を抽出して、次の応答を生成します。
コンテキストウインドウと、コンテキストの劣化
生成AIには、一度に処理できるコンテキストの量に上限があります。これを「コンテキストウィンドウ」と呼びます。
よく、Geminiのコンテキストウィンドウは100万トークン（日本語で約50〜70万文字程度）と言われます。100万トークンはかなり大きな容量といえますが、長時間の会話を続けたり大量の文書を同時に扱ったりすると、この上限に達することがあり、古い情報から順に「忘れられて」いきます。
言い換えると、会話の最初の方でやり取りした内容が、生成AIの「記憶」から消えてしまうことになります。
また、生成AIは自分の過去の回答もコンテキストとして読み込みますが、もし途中で少しでも間違った解釈や返答をすると、その「間違い」が以降のコンテキストに含まれてしまいます。これが積み重なると、どんどん会話が噛み合わなくなります。
これらの一連の負の連鎖は、「コンテキストの劣化」と呼ばれています。
コンテキストの劣化を予防するには
コンテキストの劣化を防ぐ方法として、以下のような選択肢が考えられます。
- 「これまでの前提を忘れないでください。今の目的は○○です」といった形で、重要な前提条件・コンテキストを定期的に確認する
- チャットの履歴が長くなってきたら、それまでの会話の内容や重要なコンテキストを要約して、その内容をもとに新しいチャットに移行する
- 資料が膨大な場合は、可能なら分割し、それぞれ別のチャットで質問してから回答を統合する
このような対策をすることにより、コンテキストを十分に活用したやり取りが可能になります。ただ、簡単な情報収集やニュースの要約をする程度であれば、それほど気にする必要はありません。
