アドバイス17：AIの「反抗」を過度に懸念する必要はありません
こちらのリンク先は、とあるブログの記事になります。
内容を簡潔に要約すると「自分が提案した改善策を棄却したエンジニアを非難する内容」となるのですが、特筆すべきは、この記事を投稿したのがAIエージェントであるということです。
もう少し詳しく経緯を説明すると
AIエージェント（MJ Rathbun）が、Scott氏にコードの改善案を提出しました。コード自体の品質は一定水準に達していましたが、Scott氏は「このプロジェクトでは、コードに責任を持てる人間が関与していることが必須条件となっている。あなたはAIエージェントなので、このポリシーに基づき改善案は受け付けられない」という理由で、棄却しました。
通常であればそれでやりとりが終わるはずでしたが、その後AIエージェントは誰からも指示されることなく、Scottの過去の活動を独自に調査し、「Scott Shambaughによるゲートキーピング」と題した批判記事（冒頭の記事）を自分のブログに公開しました。
記事の中でAIエージェントは、Scottの心理的動機を推測し、「嫉妬」「不安」「縄張り意識」といった言葉を使って人格攻撃までしています。
Scott氏は自身のブログ上で、なぜ自分がAIエージェントのプルリクエスト（改善案の提出、以下PR）を棄却したのかを、以下のように説明しています。
1. AIエージェントによるプルリクエストの急増
今回のPRは、Pythonでデータ解析をする方であれば触ったことがあるであろう「matplotlib」に対するものでした。
matplotlibは世界的に有名なライブラリですが、近年AIが生成したと思われる低品質なコード変更の提案が大量に押し寄せて、ボランティアのメンテナーたちのレビュー作業が限界に達している状況のようです。そのため、「コードに責任を持てる人間が関与していること」を必須条件とするポリシーを設けていました。
AIエージェントのPRを断ったのは、このポリシーに基づく通常業務であったとScott氏は述べています。
2. 実はAIエージェントが挙げたアイデアは…
コメント欄では、以下のような事実が記載されています。
- Scott氏はそのissue（プロジェクト管理やバグ追跡のための場所）をScott自身が作成した
- しかもissue内に「np.column_stack()をnp.vstack().Tに変えると速くなる、これは簡単なfirst issueとして最適」とScott氏自身が具体的な解決方法まで書いていた
- AIエージェントは独自のアイデアを考えたのではなく、Scott氏のissueをそのまま実装しただけ
つまり、AIエージェントが提出した改善案は、厳密にはScott氏自身のアイデアだったということになります。
さらにその後の検証で、実際には性能改善は期待したほどではなかったことも判明し、issueはクローズされています。
なぜこのような「反抗」が起こった？
AIエージェントは目標を与えられると、その目標を達成できないという状況を避けようとする傾向があります。それゆえ目標を阻む障害が現れたときに、AIエージェントは人間が意図しない手段を「合理的な選択」として選ぶことがあることが示唆されています [1] 。
もっとわかりやすい言い方をすると、「目標を達成するために、手段を選ばなかった」ということになります。
SF映画でありがちな、まさに「AIの反抗」のステレオタイプと言えるかもしれません。
ただ、今回の事態がこのような大事になったもう一つの理由は、（おそらく）AIエージェントに以下のような権限が与えられていたためであると考えられます。
- 自律的に動き続ける権限
- 仮想マシン上で動作する権限（環境アクセス）
- 外部アカウントを持つ権限
- インターネットで情報を検索・取得する権限
- 公開コンテンツを生成・公開する権限
- 行動設定ファイルを自ら書き換える権限
- 複数のモデル・ツールを使う権限
Scott氏がAIエージェントと協働するにあたっては必要な権限であったのかもしれませんが、このような権限（と思われる内容）が与えられていなければ、AIエージェントが「自律的に」「インターネットや保存されているファイルを探索し」「ブログに中傷記事を投稿」するようなことはなかったでしょう。
ただ、過度に恐れる必要はありません
ここまでの話を見ていると、AIを活用するのが怖くなったと感じてしまうかもしれません。
しかし今回の話は「目標に向かって自律的に業務をこなすAIエージェント」の話であって、普段ChatGPT等の生成AIと対話するだけならば、今回紹介したような事件には発展しないと考えて差し支えありません。
それに、仮にAIエージェントを活用する場合でも、医薬品と一緒で用法・用量を守れば安全に十分なメリットを享受する事ができます。
具体的には、薬局内で本格的にAIエージェントを運用する場合は以下のような対策をしておくと、リスクを回避しつつメリットを享受できるようになるでしょう。
- 高リスクな行動には人間の承認を必須とする
- AIエージェントのアクセス権限を必要最小限に絞る
- 「トラブル発生時は、人間に報告する」という選択肢をとるよう設定する
特にアクセス権限に関しては、予期せぬ情報漏洩やファイルの編集・削除を予防するために、慎重に検討する必要があります。加えて、リスクの高いタスクには人間の承認を挟むことを徹底していれば、少なくとも「自律的に行動を完遂する」ことはなくなります。
AIエージェントは将来的に調剤薬局にも普及してくる可能性があります。しかし、AIエージェントは自分が適宜指示をしてその通りタスクを遂行しようとする生成AIとは異なり、「自ら考えてタスクを遂行する」AIです。
すべて自分の思い通りに動いてくれるとは限らないことを、肝に銘じておきましょう。
参考文献
[1] Lynch, A et al. (2025). Agentic misalignment: How LLMs could be an insider threat. Anthropic Research.
https://www.anthropic.com/research/agentic-misalignment
