信頼構築型の詐欺に「あえて釣られる」AIの研究
Victim as a Service: Designing a System for Engaging with Interactive ScammersPig butchering, and similar interactive online scams, lower tarxiv.org
「こんにちは。最近どう？」
そんな他愛もない一言から始まる、数週間〜数か月にわたる信頼関係。その先に待っているのは、暗号資産投資や副業の話、そして高額な送金要求。
いま、こうした「長期にわたる」詐欺が世界的に急増しています。しかも、論文によると被害総額はわずか数年で750億ドルを超えるともいわれるそうです。
この難攻不落の詐欺構造に、AIが「被害者役として」立ち向かいました。
その名も、「Victim as a Service」。
詐欺師を釣るのではなく、「釣られる」システム
普通のAIは、詐欺を検知したり通報したりする側であることがほとんどです。しかし、UC San Diegoの研究チームが開発したシステム「Chatterbox」は、一見ただのチャットボットにみえますが、実は詐欺師に騙される側を演じるAIです。
具体的には、被害者になりすましてSNSで自然な投稿をし、フォローや「いいね」で生活感を演出し、詐欺師がDMを送ってくるのをひたすら待つように設計されています。
そして、たまたま出会った詐欺師と日常会話を交わし、恋愛や投資の話題に発展。まるで人間のように信頼関係を築いていきます。
このChatterboxは単に「返信する」だけでなく、
時間帯や感情の流れをシミュレーションし、ときには写真（合成自撮り）まで送るという徹底ぶりで、「私は本物の人間だよ」と詐欺師を信じ込ませます。
専用の「Honeypot LLM」
Chatterboxの頭脳には、専用の大規模言語モデル「Honeypot LLM」を採用しています。特徴的なのは、その人格設計の精密さで、
- 名前、年齢、職業、居住地などの「固定情報（PII）」と呼ばれる情報
- 趣味、家族、好きな映画などの「非PII情報」
- 会話の癖、絵文字の使い方、返信までの間隔といった「動的行動ポリシー」
これらを37人分（JSON形式で）作り込み、まるで「生きた人間」であるかのように振る舞わせます。
例えば…
詐欺師：「週末は何してるの？」
AI：「土曜は息子のサッカー⚽️の試合かな」
と言った形で、ごく自然の会話を演出するようです。
実際、詐欺師の多くがChatterboxを「本物の被害者」と信じ込んだそうです。
WhatsAppへの誘導
詐欺師は初めはSNSで接触してきますが、数日以内にこう言い出します。
「このアプリあまり使わないから、WhatsApp（Meta社のメッセージアプリ）で話そう？」
ここで、Chatterboxはすぐに従わず、「Investigating Platform Migration Capabilities」ポリシーに従い、相手が好むアプリ（WhatsApp、Telegramなど）を列挙させるよう誘導します。その後、システムがサポートするWhatsAppに限定して移行を行うという流れになります。
この目的としては、詐欺師にある程度の「運用インフラ（電話番号、口座、アプリアカウント）」を晒させることで、ネットワーク解析の手がかりを得るために、あえて「誘いに乗りそうで乗らない」感じを演出しています。
結果、移行に成功した会話は平均で2〜3倍長続き。
詐欺師が本気になればなるほど、研究者は深いデータを得られるという構図です。
実際の運用データ
7週間の運用で、
- 接触した詐欺師アカウント：4,725件
- 実際に会話が続いた件数：568件
- 平均会話日数：7.8日
- 最長の会話：46.3日（487メッセージ）
さらに、22%の会話では写真・動画・音声が含まれており、詐欺師が自撮りや偽アプリのスクリーンショットを送ってくるケースも。
このデータは、詐欺師がどんな手口で信頼を作り、どうやって金銭要求に至るかを可視化することに成功したと言えるでしょう。
そして、この研究（の方法）で得られたデータは、
- SNSの詐欺検知アルゴリズムを訓練できる
- 金融プラットフォームが「怪しい送金先」をブロックできる
- 捜査機関が詐欺ネットワークを追跡できる
これらを実現する手助けになります。
つまり、AIが「騙される」ことで、私たちは「騙されない」世界を作ることができるということになるでしょう。
倫理的な問題は
おそらく、この記事をここまでお読みになった方の中には
「この研究…その…色々と大丈夫？」
と思われた方もいらっしゃるかもしれません。
論文中では、この研究における懸念事項とその対策（と思われる部分）について、以下のような記載がありました。
- AIが送信したメッセージは「おとり捜査」に該当？
研究チームはAIが能動的に詐欺師を誘う行為を絶対に行わず、「受け身で応答するだけ」「実際の金銭取引は一切しない」などの行動制限ポリシーを設けています。
論文中に明記されているわけではないので推測になりますが、AIが詐欺師と直接やり取りし、相手を誘導したり、金銭取引を偽装したりする行為は、警察などの捜査権限を持つ機関だけに許可されている「おとり捜査」とみなされる可能性が考えられます。民間の研究者が同様のことを行うと、「捜査活動に類する不適切な介入」と見なされるリスクがあるため、このようなポリシーを設けているものと推察します。 - 詐欺師が実は人身売買で強制労働させられていた場合は？
近年の国際的な調査では、東南アジアなどの詐欺拠点で働く人々の一部が、人身売買や強制労働によって詐欺に加担させられていることが明らかになっています。つまり、AIがやり取りする「詐欺師」本人が、実は「被害者」かもしれないということです。そうなると、AIがその相手を「研究対象」として扱うことは、倫理的に「デリケート」になります。
今回の論文では、研究者は収集したデータを個人追跡や特定につながる形で公開せず、人道的配慮をもって処理しています。 - 被害者のふりをするAIが、別の詐欺師を「教育」してしまう可能性は？
詐欺師がAI相手に会話を繰り返すうちに、「どんな手口が効かないか」「どうすれば信用を得やすいか」といった知見を得る可能性があります。つまり、AIが詐欺師を育ててしまうという皮肉な結果を生む恐れがあるでしょう。これも論文中で直接明記されていないので推測になりますが、論文中には、- 会話内容を定期的に監査し、「フィードバック学習」につながる会話は遮断
- 一定期間を過ぎた会話は強制終了
- AIの応答にパターン学習を起こさないよう、会話テンプレートを固定化しすぎない
といった制御を行っていると記述されています。
この内容から、おそらく「詐欺師の教育リスク」に対する対策なのではないかと推測できます。
研究チームは、これらをすべてIRB（倫理審査委員会）経由で管理し、
人間の監督を常に介在させる「human-in-the-loop」設計を導入しています。
具体的に言うと、
- AIが自動で返信する前に、人間が初回メッセージを確認する（「この相手は詐欺師か？」を判断）
- 詐欺師が写真送付・金銭要求・プラットフォーム移行を求めた場合、人間の承認を必須とする
- 一定メッセージ数を超えると、AIが自動応答を一時停止し、人間がレビューする
- 研究チーム全体で安全性をモニタリングする、ウェブ管理のダッシュボードを構築する
この体制により、AIが暴走して「違法・不適切な会話」を進行させることを防いでいると考えられます。
今後の課題
この研究はもちろん意義が大きいですが、いくつかの注意点や課題が論文中で整理されています。
- 被害者役を演じるシステムが詐欺師を引きつけるという仕組み自体が、詐欺活動の温床にならないよう倫理・法的な配慮が必要。
- 詐欺師側も進化しており、単純なチャット誘導だけではなく「音声・映像・深層偽造（ディープフェイク）」などが次の脅威になり得るため、取得データの網羅性・将来の対応性が問われる。
- 実運用時は、金融・SNSプラットフォーム・国際送金インフラとの連携が不可欠であり、単にチャットログを取るだけでは防止には直結しない。
- 詐欺師グループの多くが国際的・ボーダレスな構造を持つため、国家・言語・文化の壁を越えた分析・対策が必要。
最後に、本研究は「技術的には詐欺を食い止める・観察するための仕組み」であるものの、根本的な「被害者が生まれるメカニズム」「詐欺を生み出す社会構造」には別途アプローチが必要というメッセージも記述されています。
ここまでお読みになって、どう思いましたか？
AIが「人間のフリをして、騙されるフリ」をして詐欺師を炙り出すという今回のトピックは、さまざまな観点からさまざまな意見が出るであろう内容です。ある人は「AIの技術の新しい活用法が生まれたことを歓迎」し、ある人は「AIが人を演じることの是非」を問い、ある人は「ビジネスチャンスだ」と思うかもしれません。
もちろん「これが正しい」という意見はありません。それぞれの方が置かれている環境や得意分野（専門分野）といった要素の違いによって、異なる見解が生まれることでしょう。
いち調剤薬局の薬剤師である私の立場から言うと、今回取り上げたような信頼構築型の詐欺の代表例である「SNS型ロマンス詐欺」の抑止力になる可能性がありますし、この技術の研究はもっと進んで欲しいと感じている一方、このような技術を取り扱える人（およびターゲット）は厳密に限定しておかないと、「人間のように振る舞うAIへの依存」が増える可能性があるとも感じています。
非常に素晴らしい研究内容ですが、「いろいろな方面に」配慮すべきことも多い研究だと思います。
こうした詐欺は、対岸の火事ではありません
SNS型ロマンス詐欺 | 最新の詐欺 | 警察庁・SOS47特殊詐欺対策ページ相手方が、SNSその他の非対面での連絡手段を用いて被害者と複数回やり取りすることで恋愛感情や親近感を抱かせ、金銭等をだましwww.npa.go.jp
警視庁からも専用のページで注意喚起がされていますが、地域の窓口として機能すべき調剤薬局として、現実に「長期にわたる信頼構築型の詐欺」が起こる可能性を認識しておかなければなりません。
極端な話、利用者の方から「外部アプリ・SNS経由の『治療誘導』や『サプリ購入』をおすすめされてるんだけど…」という相談を受けたときに、「長期的に信頼関係を築いた後に金銭を支払わせる」タイプの詐欺である可能性も念頭に置いて話をした方が良いでしょう。
例えば、普段高齢者の方が多く来局される薬局であれば、「このような詐欺パターンがあります」という患者さん向け資料（パンフレット、薬局掲示、SNS投稿）を作成するのも良いですし、調剤薬局のスタッフ全員にこのような詐欺が存在することを周知し、どのように対応したらよいのかを全員で議論するのも有効でしょう。
まあ内容が内容なので、「言うは易く行うは難し」の代表例ではあるのですが、こういった「長期にわたる信頼構築型の詐欺」は、自分たちの周りでも起こりうるということは理解しておきましょう。
