コンテキストウィンドウ｜LLMO用語集

AIが1回の会話の中で同時に保持しておける情報量の上限のことです。
AIとチャットで会話をする際、AIはユーザーが入力した文章と、自分が返信した文章を維持しながら次の返答を作成しています。
しかし、AIはこれまでのやり取りを無制限に保ち続けられるわけではありません。
決められた情報量の上限を超えると、一番古い会話の内容から順番に処理の対象外となってしまいます。
この一度の処理で保持しておける情報の枠組みのことを、コンテキストウィンドウと呼んでいます。
AIが前後の文脈を踏まえて適切な回答をするためには、この枠組みの中に必要な情報が収まっている必要があります。

長大な文章の要約や、複雑な前提条件を伴う文章生成に適しています。
たとえば、数百ページに及ぶ論文や業務マニュアルなどのデータを一度に入力し、その内容に基づいた回答を引き出す作業が可能です。
複数の異なる文書を同時に読み込ませて、内容を比較して整理させるといった用途にも利用できます。
また、AIを対話型のシステムとして利用する場合、過去の長い会話の文脈を踏まえた上で、矛盾のない対話を継続する用途に向いています。
ただし、入力する情報量が多くなるほど、処理にかかる時間やコストも増加する傾向があります。

制限を超えて情報を入力した場合、システムによって処理がエラーとなり、回答の生成が中断されることがあります。
エラーにならずに処理が続くシステムの場合でも、制限を超過した分の古い情報から順番に切り捨てられます。
古い情報が切り捨てられた場合、AIは直近で入力された内容のみを基準にして回答を作成します。
そのため、会話の初期段階で設定した前提条件や指示が失われてしまいます。
結果として、ユーザーの意図した文脈に沿わない回答が出力される原因となります。