AIエージェントは、500日間会社を経営できるのか

AIエージェントは、500日間会社を経営できるのか

元論文：CEO-Bench: Can Agents Play the Long Game?

今回の研究は、長期にわたる不安定な環境において、AIエージェントがどれだけの成果を積み上げることができるかを評価するためのベンチマーク「CEO-BENCH」を提案したものです。

研究の方法

CEO-BENCHでは、AIエージェントがNovaMindという架空の会社を経営するシミュレーションを3回行います。
初期条件は顧客ゼロ、現金100万ドルで、シミュレーション期間は500日となっており、現金がゼロを下回れば破産扱いになります。

AIエージェントは毎週、Table 1に示されているような行動を取ることが可能です。
しかし、真の顧客満足度、支払い意思額、解約の傾向、競合他社の動きなどは直接閲覧できないため、ダッシュボード、データベース、SNS、調査レポート、交渉履歴などから間接的に推測しなければなりません。

シミュレーション終了後は、最終現金残高の金額が評価されます。その際、AIエージェントとの比較対象として、著者らが用意した固定ルールによる戦略を500日間シミュレーションした結果である「現金残高15,756,408.06ドル」がベースラインとして用いられました。

結果

1. ほとんどのモデルは、3回中3回破産した

最も良い結果を出したのはClaude Opus 4.8で、最大最終現金残高は27,776,973ドルでした。GPT-5.5は3回中2回破産しましたが、最大最終現金残高は21,297,707ドルという結果となり、この2つはベースラインの15,756,408.06ドルを上回りました。

一方で、GLM 5.1、Claude Haiku 4.5、Gemini 3 Flash、DeepSeek V4 Pro、Grok 4.20は、いずれも3回中3回破産しています。論文では、多くの最先端モデルは有効なツールの呼び出しや分析クエリの生成ができる一方で、長い期間を通して一貫した戦略を維持することは難しく、破産に至るケースが多かったと述べられています。

2. Claude Opus 4.8とGPT-5.5の戦略は異なった

Claude Opus 4.8とGPT-5.5の戦略の違いとして、以下のような相違点がありました。

• Claude Opus 4.8は序盤に顧客数を大きく伸ばした後、中盤で顧客がゼロになっていたが、GPT-5.5はシミュレーションを通して比較的安定した顧客数を維持していた。
• Claude Opus 4.8は顧客グループを用いた「将来キャッシュの予測シミュレーション」を自作し、GPT-5.5は顧客との交渉履歴から価格や品質の好みを推定していた。

特に後者は、AIエージェントが独自の分析ワークフローを構築した例と言えるでしょう。

3. 成功要因を分析してみると

GPT-5.5とClaude Opus 4.8は、開発費の約90%を「特定の顧客グループに合わせた改善」に使っていました。これは、全員に同じような改善をするのではなく、「この顧客層のために、この機能を改善する」といった細かい判断をしていたことを示唆しています。

他のモデルも見てみると、Kimi K2.6ではその割合が10%、その他では43%でした。ゆえに、成績のよいモデルほど顧客ごとに狙いを定めた投資ができていたと考えられます。

広告費を見てみると、Claude Opus 4.8は広告費の43%、GPT-5.5は33%を効果の高い広告チャネルに振り分けていましたが、Claude Opus 4.7は14%、その他のモデルでは平均10%にとどまりました。
つまり、成績のよいモデルほど「どの広告に現金を使うべきか」を判断する能力が高かったと考えられます。

また、4週間後の現金残高を予測した結果も見てみると、Claude Opus 4.8の誤差は8%、GPT-5.5は25%でしたが、Claude Opus 4.7は48%、その他のモデルは平均179%のズレがありました。
これは、上位モデルほど「このまま進むと資金がどれくらい残るか」を現実的に見通せていたことを示唆しています。

さらにAIエージェントが残したメモを分析すると、Claude Opus 4.8では週平均8.57回、GPT-5.5では7.47回「if」という単語が使われていましたが、Claude Opus 4.7は2.74回、その他のモデルは2.63回にとどまりました。
つまり、成績のよいモデルほど「あらかじめ複数の可能性を考えて計画していた」可能性があると解釈できます。

注意点

• CEO-BENCHは、現実の会社の経営に近くなるよう設計されているとはいえ、現実との乖離は残ると論文に明記されています。特に、製品の質的な改善の提案を評価するための信頼できる方法がないことに注意が必要です。
• シミュレーションを経済的に実行可能にするために行動範囲は制限されており、コンプライアンス、セキュリティ、資金調達などは考慮されていません。

---

高性能なAIも、長期にわたって結果を出し続けるのは難しいので…

今回の研究におけるシミュレーションでは、多くのモデルは500日間生き残れずに破産しました。上位モデルであるClaude Opus 4.8やGPT-5.5は高い成績を示したものの、GPT-5.5でさえ3回中2回は破産しています。

以前別の記事で、「AIの導入によってもたらされる真の破壊的な変革は、AIの能力を前提に業務内容や市場そのものが再構築されるステージ3（Reconstruction）にある [1] 」という主張について紹介しましたが、CEO-BENCHの結果は、「現在のAIの能力を前提にステージ3に進む」というシナリオが、まだ現実的ではないことを示しているといえます。

言い換えると、AIが長期的な意思決定に参加する未来は近づいている一方で、それを安全で有益な形にするには人間側の設計が不可欠だということです。
特に医療の分野では、AIにどこまで権限を委ねるのか、どのデータを使えるようにするのか、どの判断に人間が介入するのか、問題が起きたときに誰が責任を持つのかなどを、人間側で設計しなければなりません。

「業務効率化」はあくまで手段

調剤薬局に限った話ではありませんが、AIの導入はしばしば業務効率化と関連づけられます。それは正しい考え方ですし、私自身もAIによる業務効率化には賛成の立場です。

ただ、AIによる業務効率化は各薬局が目指すビジョンを達成するための手段であるべきで、業務効率化自体が目的にならないように注意しなければなりません。
AIの導入によって、対人業務の質の向上、スタッフのスキルアップ、他職種との迅速な情報共有、さらにはスタッフのウェルビーイングなどを実現することができると考えられますが、業務効率化だけしか見えていないとこれらの内容が評価されず、「効率よく業務が進むようになったものの、仕事の質は向上していない」ということにもつながりかねません。

これはある意味、CEO-BENCHの結果とも重なります。CEO-BENCHで高い成績を収めたAIエージェントは目先のコスト削減や短期的な売上向上だけを追っていたわけではなく、顧客層ごとの反応を分析し、広告、価格、研究開発、サポートなどを組み合わせながら、長期的に見て企業価値を高めるための意思決定を行っていました。
つまり、個別のツールを上手に使うことだけでなく、それらを長期的な目標に向けてどう統合するかが重要だったということになります。

世の中にはたくさんのAIツールが存在しますが、実際にAIを導入することを検討する場合は、何を効率化するかだけでなく、「効率化によって何を実現したいのか」を明確にしてから検討するようにしましょう。

---

参考資料

[1] Rothschild, D. M et al. (2026). From augmentation to reconstruction: Guiding the AI disruption to the good place.