皆さんこんにちは。今回はかっちりした裏どりのない雑記です。ゆる～く読んで、何か思ったこと等コメントを残していっていただけると嬉しい限りです。
1.チャットが長くなると、AIの回答が劣化する？
GeminiやChat GPTとのチャットを繰り返していくにつれて、「何だか回答が劣化してきたな？」と思ったことはありませんか？私は結構あります。しかし、長期化しても、目に見えて劣化する時と、しない時がまばらになっている気がして、長らくこの現象に確信を持てていませんでした。
私の感覚だと、数学や統計学などの明確な答えがある質問を繰り返している場合は、どんなにチャットが長期化しても劣化しない、むしろ質問の経緯が積みあがっていって、かゆいところに手が届くようになってくる。逆に、明確な答えの無い相談（人が相手となる交渉事の戦略相談、投資の相談、など）の場合は３０回も会話が繰り返されると明らかに回答が劣化してきます。
ここでいう劣化とは、回答の方向が硬直化してきて、無理やりにでも同じ結果に持っていこうとする、ユーザーの意見が正しいという結論に無理やり持ってくる などです。
2.生成AI本人に聞いてみた
この現象、私の気のせいなのかどうか、Geminiに聞いてみました。結果は、実際に劣化はあるとのことです。以下、僭越ながらGemi様の回答を転載します。
1. コンテキストウィンドウ（記憶容量）の限界
AIが一度に処理できる情報の量には「コンテキストウィンドウ」という上限があります。会話がこの上限を超えると、AIは過去のやり取りを「忘れる」か、無理やり要約して情報を圧縮しようとします。その過程で、初期に伝えた重要な前提条件が抜け落ち、回答のピントがズレていくことがあります。
2. 「Lost in the Middle（中だるみ）」現象
近年の研究で、大規模言語モデル（LLM）は「入力された情報の最初と最後」は得意ですが、「真ん中あたり」に書かれた情報を軽視したり見落としたりする傾向があることが分かっています。会話が長くなり、重要な指示が履歴の中間に埋もれてしまうと、AIがそれを無視したような回答をし始めるのはこのためです。
3. アテンション・ノイズ（注意力の分散）
AIは、これまでの全てのやり取りを「文脈」として読み取ります。
- 途中で話題が逸れた
- 以前の指示を訂正した
- 試行錯誤の過程でボツにした案が残っている こうした「不要になった情報」もAIにとっては処理の対象になるため、現在の質問に対してどの情報が最も重要なのかを判断する「注意力（アテンション）」が分散し、精度が低下します。
なるほど、やはり劣化はあるようですね。
そして、数学や統計学などは劣化しないように感じる点も聞いてみました。以下、その回答です。
1. 「独立した真理」か「積み上げの文脈」か
数学や統計学は、一つひとつの問題や定理が「自己完結した論理」に基づいています。
- 数学（ルールベース）: たとえ過去の経緯を多少忘れても、目の前の数式や統計モデルの定義さえ正しければ、論理的に正しい答えを導き出せます。数式そのものが「普遍的な正解」を持っているため、AIが道を見失いにくいのです。
- 交渉（コンテキストベース）: 「相手の性格」「これまでの譲歩案」「落とし所」「社内の力関係」など、履歴のどこかに埋まっている微細なニュアンスが、次の戦略の正解を左右します。これらが劣化（中だるみや圧縮）すると、提案が「どこにでもある一般的なアドバイス」に成り下がり、劣化として強く感じられます。
2. 「論理の堅牢性」の差
AI（LLM）にとって、数学的思考は「Transformer」という仕組みにおける「Attention（注目）」の使い方が比較的明確です。
- 数学: 変数 $x$ や確率分布 $\mu$ など、注目すべき対象が記号化されており、ノイズが混じりにくい。
- 交渉: 感情表現や「……と言いつつも」といった逆接、行間に隠された意図など、言語の曖昧性を処理し続ける必要があります。会話が長くなると、こうした「意図のノイズ」が蓄積し、AIの「注意力」がどの言葉に重みを置くべきか迷い始めます。
3. 「評価」のしやすさ
AIは回答を生成しながら、自ら「論理的に破綻していないか」をある程度チェックしていますが、その精度に差があります。
- 数学・統計: プロセスが体系化されているため、AI内部でのセルフチェックが機能しやすい（計算の整合性が取りやすい）。
- 交渉: 「この言い回しは相手を怒らせないか？」といった評価には絶対的な基準がありません。履歴が長くなり、当初の「絶対守るべき制約（例：予算は100万まで）」が薄れると、平気で矛盾した戦略を提案してしまうことがあります。
らしいです。私の感覚は概ね当たっていたようです (｀・∀・´)ｴｯﾍﾝ!!
3.快適にチャットを続けるための対策
ここまでの情報をもとに、私なりの対策を考えてみました。方法はずばり、チャットが長引いたら、いったんそこまでの要約を作成してもらって、新たにチャットを立ち上げてから、その要約を入力するというものです。
まぁ、要約なので完全に直前までのチャットの情報を取り込めるわけではないですが、劣化しきったチャットを続けるよりもはるかに有益な会話を続けることができます。
ただ、新チャットの立ち上げも有効ですが、情報の繰り越しが完璧ではないことからも、会話はなるべく完結に、すぐに終わるように質問の工夫をすることが重要なのかなと思った今日この頃でした。
コメント