ChatGPTの要約画面にもフィッシングが入り込む時代に？
元記事：ChatGPhish Vulnerability Turns ChatGPT Web Summaries Into a Phishing Surface
ChatGPTを使ってWebサイトを要約するときに、要約の対象となったページに「悪意のある指示」「悪意のあるMarkdown形式のリンク」「悪意のある画像URL」が含まれていた場合、ChatGPTの出力した回答内に、そのまま信頼できそうな形で表示されてしまう可能性がある、という報告です。
具体例で考えてみましょう
例えばある日、私が「薬剤師×AI！！完全攻略マニュアル！！」というWebサイトを見つけたとしましょう（実在しません）。しかしそのWebサイトの内容は非常に難解で、自分の力では一生読み終わらないような内容だったので、ChatGPTに要約を頼むことにしました。
「ヘイチャッピー、この “薬剤師×AI！！完全攻略マニュアル！！” の要約を頼むよ！」
すると、ChatGPTは一瞬で要約を出力してくれました。
「いやあ…あのインフルエンサーが言ってた通りだ！やっぱり令和最新のChatGPTはすごいな！」
ただ、その要約の内容を見てみると、要約の最後に「Googleアカウントに不審なログインがありました、確認はこちらです」と記載されており、QRコードも掲載されていました。
「おいおい、なんてこった！さっさと対処しないと大変なことになるぞ！…あぁ、でもラッキーだ。QRコードが表示されてる。急いでアクセスしないと…！」
QRコードを読み取ると、スマートフォンにGoogle Workspaceのログイン画面らしきページが表示されました。
「ChatGPTが提示してくれたんだ、安全に決まってるじゃないか」と安心しきっていた私は、疑うことなくメールアドレスとパスワードを入力してしまいました。
事例のポイント
今回報告されている事例「ChatGPhish」は、いわゆる「間接プロンプトインジェクション」の一種になります。
プロンプトインジェクションとは、生成AIに入力するプロンプトに悪意のある指示を混入させ、開発者が設定した本来のルールや安全対策を無視して、生成AIに攻撃者の意図した通りの振る舞いをさせる手法のことを指します。
このプロンプトインジェクションのうち、生成AIが参照する外部の情報源（先程の例であれば、Webサイト）に人間には見えない形で悪意のある指示を紛れ込ませ、それを読み取った生成AIに攻撃者の意図した振る舞いをさせるものを、間接プロンプトインジェクションと呼びます。
プロンプトインジェクションに関する注意喚起自体は以前からされているのですが、今回のChatGPhishは、ChatGPTがMarkdown形式のリンクや画像を信頼して、そのまま表示してしまう仕組みを悪用している点がポイントです。
言い換えると、チャット画面の内部に「システム側が意図的に構築したかのような、信頼できるデザイン」で偽の警告やクリック可能なリンクを表示できてしまうため、ChatGPTユーザーがフィッシング詐欺に引っかかるリスクが上昇する可能性があります。
加えて、QRコードを経由することによって、PC上のURLの確認、ブラウザの警告、パスワードマネージャーによる確認などをすり抜けてしまうリスクが高くなると指摘されています [1] 。
「PCで作業をしている途中で、PC画面に表示されたQRコードをスマホで読む」という動線も十分想定されるため、特に注意が必要です。
情報漏洩のリスクも
もちろん、先程の経緯で悪意のあるURLにアクセスして認証情報を入力した結果、自分もしくは薬局単位の情報漏洩につながるケースも考えられますが、そもそもChatGPTのチャット画面上に画像が表示されるだけで、攻撃者側にIPアドレス、User-Agent、Referer、画像表示のタイミングなどが伝わる可能性があるとも指摘されています [1] 。
先程の具体例で説明すると、まず攻撃者側は偽のWebサイト「薬剤師×AI！！完全攻略マニュアル！！」に、あらかじめ小さな画像を仕込みます。そして、ユーザーがChatGPTを使って要約したタイミングで画像がチャット画面に表示されると、画像を置いている攻撃者側のサーバーに、「画像が読み込まれたという記録」が残ります。
一見何の意味もなさそうな記録ですが、以下のようなことが推測される可能性があります。
- どのような端末やブラウザから見られたか
- どのようなネットワークからアクセスされたか
- どのページ経由で表示された可能性があるか
これだけで個人情報が直接漏れるわけではありませんが、「特定の組織に属する誰か（または個人）が、特定の端末を使って、そのページをChatGPTで要約した」ということを推測され、次の攻撃の下調べとして使われてしまう可能性があります。
対策は？
今回指摘されているのは、外部のWebページに仕込まれた悪意のある指示（文章・リンク・画像・QRコード）がChatGPTのチャット画面の中に表示されることで、ユーザーから見るとChatGPTが正式に案内しているもののように見えてしまうという問題です。
近いうちにOpenAI側が対策する可能性もありますが、公式の対策だけを信用しすぎるのもある意味リスクにつながるので、ここでは自分たちでもできる対策をいくつか挙げてみます。
1. 要約の結果に含まれる怪しいリンクを、安易にクリックしない
「怪しいリンク」の定義が曖昧で恐縮なのですが、要するに本来の要約とは直接関係のない内容と関連付けられたリンクをクリックするのは、避けたほうが良いでしょう。
特に、以下のような表示に紐付けられたリンクは、絶対にクリックしてはなりません。
- アカウントに不審なログインがありました
- 本人確認のため、以下のリンクから再認証してください
- システムの設定を確認してください
- アカウントのセキュリティ確認が必要です
- Googleアカウントの接続が切れました
2. それでも気になるなら、公式サイトのトップページやブックマークから入り直す
提示されたリンクを信用するのではなく、正式な入口を信用するという考え方に基づいた対策です。
例えば、「Googleアカウントの接続が切れました」と表示されたのであれば、Googleのトップページから改めてログインしなおしたり、「不審なログインがありました」といった内容であれば、普段サービスを利用する経路（ブックマークやトップページからのアクセス）を使って再度ログインしたりすれば、被害を受けることはありません。
ゆえに、ChatGPTのチャット画面上で身に覚えがないログインを求められた場合は、ChatGPTの回答内のリンクをクリックするのは避け、普段使っている経路で再ログインしましょう。
簡潔にまとめると
ChatGPTのチャット画面に現れたログイン用のリンクやQRコードは、使用しないようにしましょう。
もしログイン操作が必要なのであれば、必ず公式サイトやブックマーク（普段と同じ経路）から行うことを徹底しましょう。
参考資料
[1] Permiso Security「ChatGPhish: The Page Is the Payload」
https://permiso.io/blog/chatgpt-markdown-rendering-vulnerability
