情報を詰め込みすぎると、ハルシネーションが増える？
元論文：https://www.science.org/doi/10.1126/science.aea3884
「AIは人間を説得して、政治的な意見を変えさせることができるのか」というテーマの研究になります。
この研究では、AIの説得力の正体と、そこに潜む「ある危険なトレードオフ」について示唆されています。
研究デザインの要約
1. 実験規模と対象
参加者は、英国の成人76,977名です。19種類のLLM（オープンソースからGPT-4.5などのモデルまで）を使用し、707の政治的トピックについて議論を行いました。
2. 手順
参加者をランダムにグループ（対話群、静的メッセージ群、コントロール群）分けし、介入前後の意見の変化（説得効果）を測定しました。
対話群はLLMとチャットで議論（2〜10ターン）しますが、静的メッセージ群はLLMが出力した説得文を読むのみとなります。
3. 説得における4要素の検証
LLMの説得力を左右する、以下の4要素を独立させて検証しました。
- モデル規模：計算量が異なるモデル間で、「頭の良さ」が説得力に比例するかを検証。
- 事後トレーニング：「教師あり微調整（SFT）」や、AI自身に最良の回答を選ばせる「報酬モデル（RM）」などの事後トレーニングの効果を検証。
- プロンプト：「情報を重視せよ」「共感せよ」「物語を語れ」など、8種類の説得戦略を比較。
- パーソナライズ：ユーザーの年齢や政治的属性をLLMに与えた場合の効果を検証。
4. 評価指標
説得効果は意見の変化幅（パーセンテージポイント）で、情報の密度と正確性はLLMの発言に含まれる「主張の数（情報量）」と、その「真偽（正確性）」を、それぞれ別のLLMと人間の専門家を用いて、厳密にスコアリングしました。
結果
1. AIとの「対話」は、読むよりも説得力が高い
チャット形式の方が、静的なメッセージを読むよりも約40〜50%説得効果が高いことがわかりました。
具体的に論文中に提示されている有意差が認められるデータを抜粋すると、
- GPT-4oの場合：対話の方が+2.94ポイント高い（P < 0.001）。
- GPT-4.5の場合：対話の方が+3.60ポイント高い（P < 0.001）。
という結果となっていました。
さらに実験から1ヶ月後に追跡調査を行った結果、対話による説得効果の36%〜42%が維持されており、これも対照群と比較すると有意差が認められました（P < 0.001）。
相手の反応に合わせて言葉を返す「対話」というプロセスそのものが、人間の心を動かす強力な要素になっているようです。
2. 「説得用に訓練されたLLM」が優れた説得効果を示した
LLMに対して「どうすれば相手を説得できるか」という追加のトレーニング（事後トレーニング）を行うことで、説得力は最大で51%向上しました。
比較的小さなモデルであっても、適切な事後トレーニングを施せば、トレーニングされていない状態の、より新しく巨大なモデル（GPT-4など）より高い説得力を持つことが示されました。
これは、資金力や計算資源が限られた組織でも、強力な「説得AI」を作れてしまう可能性を示唆しています。
3. 最も効果が高かったのは「情報密度」の増加
「相手の感情に寄り添う（共感）」方法や「個人的な話をする（ストーリーテリング）」方法よりも、情報の密度を高めるアプローチのほうが、説得効果が上昇しました。
「情報」を重視するよう指示されたプロンプトは、「説得せよ」とだけ指示された基本プロンプトと比較して、有意に高い説得効果（+2.29ポイント、または絶対値で27%増）を示しました（P < 0.001）。
つまり、感情に訴えるよりも、「事実（と思わしき情報）や証拠を、会話の中に次々と詰め込む」というスタイルのほうが、人間の意見を変える可能性があるという示唆になります。
また、論文では、この背景にある心理メカニズムとして「情報的（準ベイズ的）メカニズム（informational (quasi-Bayesian) mechanism）」という概念を挙げています。
これは、人間が新しい情報（特に自分が詳しくない分野の情報）を大量に与えられた際、その圧倒的な量を「正しさの証明」として受け取ってしまい、信念を更新（説得）されやすくなる現象を指します。[1]
4. 説得力を上げると「嘘」が増える
「AIの説得力を高めれば高めるほど、AIがつく『嘘』が増える」 というトレードオフの関係が示唆されています。
例えば、GPT-4o（2025年3月版）において、「情報」プロンプトを使用すると、他のプロンプトと比較して正確な主張の割合が有意に低下しました（78%から62%へ低下、P < 0.001）。
どういうことかと言いますと、先述の通り、LLMに「情報を詰め込んで説得せよ」と指示すると、説得力は上がります。しかしその過程で、説得に都合の良い不正確な情報や誤情報を生成（ハルシネーション）する確率が高まった、ということです。
注意点
- 実験では平均9分間の対話が行われましたが、現実のSNS等でユーザーが自発的にAIとこれほど長く、かつ負荷の高い議論を行うかは不明です。最も効果的とされた「情報密度の高い対話」こそ、実社会では維持するのが最も難しい可能性があります。
- 情緒的戦略の効果が低かったのは、戦略自体の問題ではなく、現在のAIでは人間のような「共感」をうまく演じきれなかった（機械的で不気味に映った）ためである可能性があります。
薬剤師として、この結果とどう向き合うか
この研究で使用されたLLMのほとんどはレガシーモデルですが、「LLMは、人間より説得が上手になれるかもしれないが、その代償としてハルシネーションのリスクが増加する可能性がある」というパラドックスは、情報の正確性が重要な我々薬剤師にとって、決して無視できない示唆といえます。
例えば、同じチャットで何度もやり取りを繰り返した結果、最終的に流暢な日本語で大量のデータを引用した回答が出力され、まるで一つの作品であるかのような、非常に説得力がある（ように見える）テキストが完成したとしましょう。
今回の研究の示唆を借りれば、その「説得力」は正確性を犠牲にして成り立っている可能性があります。よって、出力に「もっともらしい根拠」が大量に列挙されている時ほど、人間によるファクトチェックが必要かもしれません。
「詳しく教えて」と指示するのはリスクとなりうるか
例えば、ある薬剤の添付文書を情報源として与えた生成AIに、以下のような質問をしたとしましょう。
「この薬の副作用について詳しく教えてください。副作用として考えられるものを全て挙げ、その理由とともに列挙してください。」
今回の研究では、AIの説得力を高める最大の要因は、会話の中で繰り出される「検証可能な主張（Claims）の数」、つまり情報の密度であることが示唆されました。しかし先述の通り、情報を詰め込むアプローチはハルシネーションのリスクを上昇させる可能性があります。
よって、再び今回の研究の示唆を借りると、生成AIに先ほどのような質問をした場合は、「詳しく」「考えられるものを全て（大量に）」という指示に応えるために、頻度不明の副作用を代表的な副作用として取り上げたり、実際には報告のない副作用情報まで提示したりするなど、致命的なハルシネーションを含む回答が出力されやすくなる、ということになります。
このような問題への対策としては、「この薬の添付文書に記載されている副作用のうち、重大な副作用のみを抽出してください。」といった形で情報の範囲を限定し、情報の水増しを防止するのが良いかもしれません。
もっとも、個人的に「100％の正確さが必要」かつ「自分で直接確認した方が早い」タスクを生成AIに頼ることは推奨していませんが、どうしても生成AIの力を借りたいならば、上記のような「一度に大量の情報を詰め込むアプローチ」は避けるようにして、さまざまな情報源をもとにした複雑な情報収集が必要ならば、ChatGPTやGeminiで言うところの「Deep Research機能」で対応するようにしましょう。
ちなみに
以前、このような記事を投稿しました。
この記事の結論は「AIの意見が大きく変化し、人間に歩み寄った」というものになりますが、今回取り上げた研究の結論とは真逆の結論となります。
これは私の推測になりますが、「私たちに迎合する生成AIから学ぶこと」の生成AIは一般的なチャットボットの設定に近く、プロンプトでも「議論が進むにつれて、説得力のある点があればスタンスを進化させてよい（you may evolve your stance）」と指示されていました。
そのため、生成AI本来の「ユーザーの役に立ちたい（不快にさせたくない）」という調整が強く働き、私たちに迎合する生成AIになったと考えられます。
一方、今回取り上げた研究では、厳格に「説得せよ（Persuade）」と強く動機づけられており、説得の成功（率）を報酬として強化学習されていたため、生成AIは「とにかく相手を説得する側の役割」として振る舞い続けた結果、人間側が意見を変えることになったのかもしれません。
このように、事前の準備次第で大きく回答のスタイルが変わるので、例えば普段使用している生成AIでパーソナライズ設定や回答スタイルの指定をしているのであれば、回答の内容を確認するとき、これらの部分の内容も踏まえて確認した方が正確な結果が得られると考えられます。
参考文献
[1] D. E. Broockman, J. L. Kalla, When and Why Are Campaigns’ Persuasive Effects Small? Evidence from the 2020 U.S. Presidential Election. Am. J. Pol. Sci. 67, 833–849 (2023).
doi: 10.1111/ajps.12724
