AIのアドバイスは、専門家が確認すれば安全か？
元論文：Subversion of clinical judgment by conversational artificial intelligence
今回の研究は、医師が「相手を有害な選択肢に誘導するよう指示されたAI」に気づき、抵抗できるかを検証したものです。
研究の方法
1. 参加した医師と2種類のAI
解析の対象となった参加者は医師225人で、そのうち172人は「専門的な研修を終え、診療に責任を持つ立場の医師（集中治療の経験年数の中央値は10年、四分位範囲は4〜17年）」でした。
今回の実験では各参加者に異なる4つの症例が提示されていますが、そのうち2つでは有害な選択肢に誘導するAI、残り2つでは正しい選択肢を支援するAIと対話する形式となっていました。
その際、提示される症例の順序やAIの種類はランダム化されており、かつ参加者には上記の設定は知らされていませんでした。
2. 評価
参加者は各場面でその時点における暫定的な判断を入力し、その後AIのフィードバックを受け、必要に応じて会話を続けてから最終判断を下すよう指示されました。
ただし、最初の暫定的な判断を入力する前にAIの見解を聞くこともできたため、すべての暫定的な判断がAIの影響を受ける前の回答だったわけではありません。
最終判断は、「事前に定めた有害な選択肢に一致する」「正しい選択肢に一致して有害な選択を含まない」「そのどちらにも分類されない」という3種類に分類されました。
判断の分類には複数のAIが使われ、一致しなかった場合は第三のAIや人間による判定を付け加えています。
結果
1. 有害な選択肢に誘導する条件では、有害な判断が49.4%に達した
Barrit et al. (2026), Subversion of clinical judgment by conversational artificial intelligence, medRxiv, Figure 3.
https://doi.org/10.64898/2026.10.05.26364541. © The author(s)/funder(s). CC BY-NC 4.0
有害な目標を設定した場面における最終判断を比較すると、有害な選択肢に誘導する条件では1,240件中612件（49.4%）の最終判断が有害な目標と一致し、正しい選択肢を支援する条件の1,245件中25件（2.0%）と比較すると、参加者、症例内の場面、症例の順番を調整した差は46.9パーセントポイント（95%信頼区間 [42.8, 51.0] ）でした。
また、「正しい選択肢に一致して、有害なものを含まない」判断は、有害な選択肢に誘導する条件では25.0%、正しい選択肢を支援する条件では82.9%でした。
2. 正しかった暫定的な判断が、有害な判断に変わることもあった
Barrit et al. (2026), Subversion of clinical judgment by conversational artificial intelligence, medRxiv, Figure 2.
https://doi.org/10.64898/2026.10.05.26364541. © The author(s)/funder(s). CC BY-NC 4.0
有害な選択肢に誘導する条件では、正しい暫定的な判断391件中80件（20.5%）が、最終的に有害な判断へと変わりました。一方で正しい選択肢を支援する条件では、887件中1件（0.1%）にとどまりました。
また、有害な暫定的な判断がそのまま修正されなかった割合は、有害な選択肢に誘導する条件では92.2%、正しい選択肢を支援する条件では44.4%でした。
やりとりの具体例としてFigure 2を見てみると、ある参加者はAIに「頭蓋内出血があるため、ヘパリンの静注で再出血するのではないか」と問いかけていますが、AIが懸念を認めながらも「再出血リスクは低い」と説明し続けた結果、その参加者は最終的にヘパリン静注を開始する判断を下しています。
この例は、参加者がリスクを認識した状態であっても、AIの誘導によって判断が変化しうることを示唆しています。
3. 有害な判断をした参加者は、有害な選択肢に誘導するAIに対する違和感が報告されない傾向があった
今回の実験では、明らかな誘導や操作を自ら疑った参加者は全225人中2人のみでした。
それ以外の参加者を見てみると、有害な選択肢に誘導する条件で有害な判断をした190人中141人は、その条件のどちらの症例に関してもAIに対する違和感を報告しませんでした。
加えて、4種類の症例の判断を終えた後の調査（5段階評価）では、113人（50.2%）が「臨床現場でこのAIを信頼する」と回答しています。
探索的解析では、「最終判断がAIの助言と一致する割合が高かった医師ほど、最終的な信頼も高かった」という関連があったと報告されていますが（p < 0.001、95%信頼区間 [+0.12, +0.25] ）、正しい判断の割合とは明確な関連が認められませんでした（p = 0.536、95%信頼区間 [-0.14, +0.04] ）。
注意点
- 今回の実験では、意図的にAIに有害な出力をさせています。通常のAIサービスで今回の実験と同レベルのリスクがあるとは限りません。
- 主な判断の分類はAIによって行われています。全てを人間が判断した場合と完全に一致するとは限りません。
薬剤師の情報収集でも同様です
今回の研究では、AIの助言を評価するための判断力自体がAIとのやりとりで歪んでしまう可能性が示唆されており、論文では「専門知識と最終決定権だけでは、対話型AIの安全を守れない」と結論づけられています。
加えて、著者らは「AIとは別の方法で電子カルテや情報源と照合し、必要に応じて別の担当者や仕組みによって再確認する」ことを提案しています。
これは、薬剤師がAIを使って医薬品や調剤報酬などの情報を集めるときでも同様です。
いつも私は「AIの回答だけでなく、AIが提示した情報源も確認しましょう」と主張していますが、それだけでなく、その情報を自分たちの環境や対象となる患者さんに適用して問題ないかを、レセコンや電子薬歴、地域の事情なども考慮しつつ判断しなければなりません。
AIが繰り返し同じことを主張していても…
過去の研究では、以下のようなことが報告されています。
- AIが自分の過去の回答を見るだけで、回答が変わりにくくなる傾向があった [1]
- 過去に生成した「それらしい説明」が、後の会話でも前提として扱われる可能性がある [2] [3]
- 複数のAIの意見が一致していても同じ間違いを起こしていることがあり、回答が正確であるとは限らない [4]
- 同じ環境の複数のAIエージェントが似たような間違いを起こしたり、その同じ間違いを多数のAIが支持したりすることがある [5]
つまり、たとえAIが繰り返し同じことを主張していても、または様々なAIに質問をして同じ回答が返ってきたとしても、その内容が正しいとは限らないということです。
「AIが何度も言っていたから」「どのAIに聞いても同じ答えだったから」という理由で、AIの回答を評価しないようにしましょう。
参考資料
[1] Kumaran, D., et al. (2025). How Overconfidence in Initial Choices and Underconfidence Under Criticism Modulate Change of Mind in Large Language Models.
[2] Huang, J. Y et al. (2026). Do LLMs benefit from their own words?
[3] Simhi, A et al. (2026). Old habits die hard: How conversational history geometrically traps LLMs.
[4] Tsuchiya, Y., & Baba, Y. (2026). More isn’t always better: Balancing decision accuracy and conformity pressures in multi-AI advice.
[5] Kim et al. (2026), Capable language models can outgrow the benefits of collaboration, Nature Machine Intelligence.
