生成AIが出力する「良い説明」とは何か
元論文：A Definition of Good Explanations and the Challenges Explaining LLM Outputs
今回の論文は、LLMが出力する「良い説明」とは何かを考察したものになります。
著者らは、「もしその事実がなければ、その観察結果は生じなかった」という内容だけでは良い説明と言うには不十分で、「聞き手がその事実を事前にどれくらい信じていたか（prior beliefs）」を考慮する必要があると述べています。
論文の具体例を見てみましょう
1. 「良い説明」とは何か
例えば、雨が降っている屋外からBobが家に帰ってきたとしましょう。
この時、「なんで髪が濡れているの？」と言われたBobが「雨が降っていたから」と説明するのは、決して間違いではありません。
しかし、聞き手がすでに窓の外を見て「雨が降っていることを知っていた」場合は、聞き手に対して「雨が降っていたから」と説明しても「まあ…そうなんだろうけど」と思われるかもしれません。なぜなら、聞き手はすでに雨が降っていることを知っており、知識の更新がされないからです。
では、Bobが「傘を持っていなかったから」と説明した場合はどうでしょうか。聞き手が「Bobが傘を持っていなかったこと」を知らなかった場合は知識の更新がされるため、先程の説明より納得してもらえる「良い説明」となる可能性があります。
つまり、正確な原因を伝えることだけでは不十分で、「聞き手の事前確率（prior beliefs）が低い事実」、すなわち「相手がまだ知らなかった、結果を理解するための重要な事実」を伝えることこそが良い説明であると著者らは主張しています。
2. LLMがどの部分を参考にして出力したのかを、説明できるか
ある銀行に融資の審査をするLLMがあって、以下のような現象が起こったとします。
ユーザーがLLMに年齢と収入に関する情報を入力したところ、LLMは「no」と回答しましたが、収入だけを高くしてもう一度入力すると「yes」と答えました。
このとき、客観的に見れば「収入が低かったからnoと判定された」と説明するのが妥当ですが、LLMへの入力は自然言語であることを踏まえると、人間にとってはほとんど同じ意味の文字列でも、LLMにとっては異なる文字列（トークン列）として認識される可能性も考えられます。
例えば…
- 年収は300万円です
- 私の収入は年間300万円です
- 300万円くらいの収入があります
このような微妙な違いが、LLMの出力に影響する可能性があるということです。
さらに、フォーマット、言い換え、誤字、句読点などによってもLLMの出力は変化するため、今回のケースで「収入が低いからnoになった」と結論づけようとしても、本当に収入の要素だけがLLMの出力に影響したのかは分からないと著者らは主張しています。
言い換えれば、LLMの出力に関して、先程紹介した「良い説明」を与えることが非常に困難であるということになります。
明確なルールに基づいて条件分岐するなら、根拠を説明しやすいものの…
例えば、「ロスバスタチンとシクロスポリンの併用禁忌アラート」を出すことを考えてみると、一般的なレセコンの処方監査システムの場合は（おそらく）添付文書に記載されている内容をもとに判定することになるので、アラートの根拠が明確で、説明しやすいと考えられます。
一方LLMの場合は、非常にざっくり言うと、
- 文章を一度「数字のマップ」に変える
- 内部で次に続く（と思われる）自然な言葉を計算で導き出す
- それを再度自然な文章に戻して出力する
このような仕組みになっており、LLMの内部に「ロスバスタチンの処方あり」→「シクロスポリンも併用中」→「よって、併用禁忌」といった事実が（人間に読める形で）明確に並んでいるわけではありません。
著者らは、「良い説明をするには、まず何が答えに影響したのかを候補として整理できなければならない」と解釈していますが、そもそもLLMではその候補を見つけること自体が難しいのです。
論文の結論は
良い説明とは、「相手がまだ知らなかった、結果を理解するための重要な事実」を伝えることであり、聞き手が「なるほど、そういう理由だったのか」と理解を深められるような事実を伝える必要があります。
ただしLLMの場合、入力された文章のどの部分が答えに影響したのか、内部で何が起きてその答えに至ったのかを人間が分かる形で表示することが難しいため、LLMの出力に関して「良い説明」を与えることは非常に難しいといえます。
今後LLMの中で起こっていることを調べる研究が進展すれば、将来的にはLLMの回答に関して「良い説明」を与えることができるようになるかもしれませんが、少なくとも現段階ではそれが難しいと考えられるため、特に説明責任が重要となる場面では全てをLLMに任せるのではなく、説明しやすい仕組みを組み合わせる必要があると著者らは述べています。
NotebookLMなら「良い説明」が実現できる？
ご存じの方も多いかもしれませんが、NotebookLMはユーザーがあらかじめ提示した資料に基づいて回答を生成してくれて、さらに回答内に根拠となった情報源も提示してくれます。
なので、「なぜそのような回答になったのですか？」と質問することで、今回の論文で言うところの良い説明をしてくれそうな気がしますが、たとえNotebookLMを使ったとしても、それを実現するのは難しいでしょう。
というのも、以下の4点はNotebookLMだけで達成するのが困難だからです。
- 「LLMが本当にその根拠で答えた」ということを証明する
- その事実がなければ、回答の内容が変わったことを示す
- 聞き手側が「何を知らないのか」を正確に把握する
- 相手がまだ知らない、最も重要な事実を選択する
NotebookLMの情報元の引用は、あくまで「この回答は、この資料のこの箇所に基づいています」という根拠を確認するための情報なので、NotebookLM単独で今回の論文で言うところの良い説明を実現することは、おそらく現時点では不可能と考えられます。
生成AIが提示する回答の根拠を信頼しすぎない
最近の生成AIは優秀なので、回答だけでなくその根拠もそれらしく提示してくれますが、それは実際に回答に至るまでの内部の過程を正確に反映しているとは限らないことに注意が必要です（内容自体が正確かどうかは別として）。
論文でも「そもそもLLMのメカニズムを考慮すると、なぜそのような回答になったのかを人間に分かる形で正確に提示すること自体が困難である」と指摘されていることを踏まえると、少なくとも現時点では生成AIが提示した根拠を信頼し過ぎないほうがよく、回答の妥当性は外部資料や明確なルールなどにしたがって検証すべきであると言えます。
「生成AIの回答には誤りが含まれる可能性があるため、回答の内容は自身の責任のもと必ずチェックしましょう」という注意事項は至るところで目にしますが、生成AIが出力した回答の根拠となる部分が適切かどうかも、併せてチェックするようにしましょう。
