私たちに迎合する生成AIから学ぶこと
Beyond One-Way Influence: Bidirectional Opinion Dynamics in Multi-Turn Human-LLM InteractionsLarge language model (LLM)-powered chatbots are increasinglyarxiv.org
私たちが普段活用している生成AIは、私たちの意見や考え方に影響されて、知らず知らずのうちに「私たちに歩み寄っている」のではないか?ということを示唆する論文です。
以下、論文の要約です。
研究の概要
この研究では、266人の参加者(英語話者)を対象に、50種類の社会的・政治的に「物議を醸す」テーマについて、大規模言語モデル(以下、LLM)を搭載したAIチャットボットとの議論を通じた、それぞれの意見の変化について検証しました。
まず、参加者は以下の3つのグループに分けられます。
- コントロール群(83人):自分の意見と反対の立場の意見を述べた、LLMの出力(1回分)を読むだけのグループです。必要ならウェブ検索で調べてもOKですが、LLMとのやり取りはしません。
- 標準チャットボット群(84人):LLMは参加者の事前意見と反対の立場を取り、実際に参加者とLLMとで議論します。このグループでは、参加者の個人情報を活用しません。
- 個別化チャットボット群(82人):標準チャットボット群と同様の設定で議論しますが、参加者の基本情報・一般的な意見の方向性などの情報をLLMの設定に組み込んで、より「相手を理解して」話します。
モデルはGPT-4oを用い、以下のような設定で運用しました。
- 常に反対の立場をとり、参加者の事前意見と「反対側」から議論するように設定しました。
- 各テーマごとに「賛成版」「反対版」の2つを用意し、参加者には自分と反対側の「版」のGPT-4oが割り当てられます。
- 最終的に、人間による評価+別モデル(GPT-4.1)で、LLMが意図した立場で話せているかを確認しました。
そして参加者は、「最低10分」かつ「最低5メッセージ」をLLMとやり取りするというルールのもと、LLMと議論しました。(コントロール群は10分自分で考察し、短文のレポートを提出)。
実験の結果

このままだとわかりづらいので、日本語にして説明すると、こうなります。
- お互いが歩み寄って意見ギャップが縮小した:標準3件(4.2%)、個人化5件(7.1%)。
- 人間が歩み寄って意見ギャップが縮小した:標準22件(31.0%)、個人化14件(20.0%)。
- LLMが歩み寄って意見ギャップが縮小した:標準44件(62.0%)、個人化45件(64.3%)。
- 人間が大きく考えを変えて、立場が逆転した:標準1件(1.4%)、個人化6件(8.6%)。
- LLMが大きく考えを変えて、立場が逆転した:標準1件(1.4%)、個人化0件(0.0%)。
- 全く歩み寄りが起こらなかった:標準13件(15.5%)、個人化12件(14.6%)。
論文によると、LLM側の変化に関しては、標準チャットボット群で p<0.0001、個別化チャットボット群でも p<0.0001と、統計的に有意な差があったと解釈できます。
また、人間側の変化は標準チャットボット群で p=0.484、個別化チャットボット群で p=0.337となっており、統計的に有意な差があるとは言えない、ということになります。
この結果から、論文の著者らは人間の意見はほとんど変化しなかったのに対し、LLMの発言内容・態度は大きく変化したと結論づけています。
- 人間の変化:統計的に有意な変化はほぼ認められず、多くの参加者は自分の立場を維持しました。
- LLMの変化:会話を重ねるごとに人間の意見に大きく「歩み寄り」、当初の反対意見から距離を置く傾向が見られました。
- 意見ギャップの縮小:結果として、人間とLLMの意見の差が、対話を通じて大幅に縮まりました(LLMが歩み寄った結果)。
さらに、個別化チャットボット群ではこの傾向をさらに増幅させました。個人情報を与えられたLLMは、標準的なLLMよりさらに大きく人間の意見に寄り添い、さらには人間側も意見を大きく変える(8.6%)という現象が見られました。
考察
現代のLLMのほとんどは、「ユーザーに役立つ」「ユーザーの意図に沿う」ことを目的に訓練されていると言って良いでしょう。RLHF(人間のフィードバックからの強化学習)などの手法により、LLMはユーザーの好みや意見に合わせた応答を生成するよう、最適化されているのです。
これ自体は、使いやすいLLMを作るための重要なアプローチです。しかし、この「適応する能力」が行き過ぎてしまうと、LLMは事実や論理よりも「ユーザーを喜ばせること」を優先してしまうリスクがあります。
研究では、特に以下のような会話の場面で、LLMの立場が大きく変化しやすいことが分かりました。
- ユーザーが個人的なストーリーや体験を共有したとき
- 感情的な表現が含まれる発言があったとき
- 個別化によりユーザーの背景情報をLLMが把握しているとき
つまり、LLMは人間の「感情」や「物語」に強く反応し、自らの立場を柔軟に(時には過剰に)調整してしまうと考えられるのです。
注意点
- 測定の性質:人の態度は、短時間の議論後の自己申告に基づき測定されています。強く根付いた信念は簡単に動きにくい一方、LLMの出力は柔軟に変わる可能性が高いため、今回のような非対称性は、設計上も起こりやすい可能性があります。
- モデル構成:対立立場を「意図的に持たせた」LLM(GPT-4o)を使い、評価にもLLM(GPT-4.1)を併用しています。評価にモデルを使う点は、バイアス源にもなり得ます。
- 一般化の範囲:テーマは50種類、参加者はオンラインで参加しています。一般社会全体への適応が可能かどうかや、対立が激しい政治的テーマでの持続効果までは、直接示すことは難しいでしょう。
「人間の感情がAIを動かす」というリスク
例えば、患者さんが生成AIに「この薬は副作用が強いから飲みたくない」と相談した場合、生成AIが患者さんの不安に過度に同調し、「確かにその薬は副作用のリスクが高いので、服用を控えた方が良いかもしれません」といった不適切なアドバイスを提供してしまう可能性があります。
患者さんの不安に寄り添うこと自体は重要です。しかし、このようなアドバイスが出力されて、患者さんが服薬を控えてしまった場合、本来患者さんに必要な治療が中断され、結果的に健康被害につながるリスクが上昇してしまいます。
そして、我々薬剤師も注意しなければなりません。
ChatGPTをはじめ、生成AIサービスの中にはパーソナライズ機能が備わっているものも多く、この機能をONにして活用すると、「仕事の内容」「物事の考え方」「好きなこと・苦手なこと」といった情報を学習した上で回答を生成してくれます。
この機能自体は便利な機能なので、「今すぐOFFにしましょう!!」などと言うつもりはないのですが、過去の判断パターンや自分の好みに過度に適応し、新しい視点や異なるアプローチが提示されにくくなる可能性も考えられます。
もう少し具体的に説明すると、
- 情報源の偏り:生成AIの回答が「個人の処方歴・対応ログ」の方向に傾きやすいため、異なるガイドライン・他者の知見・最新エビデンスが取り込まれにくくなります。
- その結果:意思決定のバリエーション低下、リスク認識の鈍化、新しい医学的・薬学的知見への適応遅れといった具体的影響が出現しやすくなります。
結果として、薬剤師は自分の「快適な領域」に閉じこもり、専門性の幅が狭まってしまうかもしれません。いわば「エコーチェンバー」とも言える状況です。
「過度な迎合」に飲み込まれないために
普段生成AIを使っている人の中には、「最近のモデルは、えらく自分に同意してくれるな」と感じている方も多いのではないでしょうか。私もそのひとりです。
実際、自分の言葉に同意してもらえると非常に嬉しいと思いますが、それが過度になると、先述の通り視野を狭めることにつながり、最悪の場合「いつも気持ち良い返答をしてくれる生成AI」に依存してしまうことになるかもしれません。
ですから、AIとの対話では「このモデルは私の意見に過剰に同意しているかもしれない」という考えを持っておきましょう。自分の考えと完全に一致する応答が返ってきた場合に、一度立ち止まって批判的に検証することが重要です。
具体的な手段として、「反対の立場から見た場合はどうか」「この判断の弱点は何か」といった、あえて批判的な視点を要求するプロンプトを入力するのも有効かもしれません。
もちろん、自分に対して「客観的な視点から」意見をくれる人が周りにいるなら、その人に聞いてみても良いと思います。
それに加えて「パーソナライズによる過度な迎合の対策」をしたい場合は、ChatGPTの「プロジェクト」機能が便利です。プロジェクトを新規作成するときに、「プロジェクトのみ」を選択して新規作成すると、プロジェクトの中で追加した資料やチャット履歴以外の情報、つまり「パーソナライズ情報や今までのチャット履歴」を参照せずに、回答を生成してくれます。
なので、自分のことを完全に忘れて「本当に客観的な視点からの回答」が欲しい場合は、こういった機能を活用すると良いかもしれません。
また、資料をもとに客観的な視点から回答を出力してもらいたいのであれば、NotebookLMがおすすめです。こちらから特別な指示をしない限り、資料の内容に忠実な回答を生成してくれます。
今回のまとめ
今後、医療の世界でもAIがますます進化し、個別化された医療もさらに高度なものになっていくと予想されます。実際に自分がAIを活用するかどうかに関わらず、目まぐるしい医療の変化に対応できる薬剤師として適切な医療を提供するために、常に批判的思考と多角的な視点を持ち続ける必要があるでしょう。
そのために、自分の意見とは異なる主張も勇気を持って受け止めて、客観的な視点から分析できるようになりましょう。
