ハルシネーションの仕組みから学ぶ、「わからないことを認める」ことの重要性
https://openai.com/index/why-language-models-hallucinate
こちらは、OpenAIの「なぜ言語モデルはハルシネーションを起こすのか」という論文です。
個人的に改めて学ぶことがあったので、今回はこちらの論文の内容をシェアしたいと思います。
そもそもハルシネーションとは
ChatGPTなどの言語モデルが、確信を持って話しているものの、その内容が客観的にみて正しくない出力を「ハルシネーション」と呼びます。例えば、ある研究者の博士論文名や誕生日を尋ねると、複数回間違った答えを自信満々に提示してしまった事例もありました。
なぜ「知らない」ではなく「間違って答える」のか？
現在の評価方法では、答えられなかった（「わかりません」と言った）場合は、得点がゼロになります。一方、間違いの可能性が高い答えを出すケースでは、稀に正解することがあるため、少しでも得点できる可能性があります。
つまり、「わからない」と正直に言うより、間違いである可能性が高くても何かしら答える方が、全体の成績が良くなる評価方法になっています。
その結果、モデルは曖昧な場面でも推測して答えるクセがついてしまい、誤った情報を自信たっぷりに提供してしまうのです。
評価方法を見直す必要がある
例えば、
- 間違った答えには、大きなペナルティを与える。
- 「わかりません」と正直に言ったり、質問をクリアにする対応には部分的に得点を与える。
このような評価によって、モデルは「わからない時は素直に言う」選択をしやすくなります。
そもそもなぜ間違った答えが出てしまうのか？
モデルの訓練段階では、文章が自然につながるように「次に来そうな言葉」を大量のテキストから学びます。しかし、知識として正しい情報と間違った情報とが区別されていないため、未知の情報については「当てずっぽう」で答えてしまう傾向があります。
また、データそのものに誤りが含まれている場合（例：「誤った事実」が文章に混ざっていた）も、そのまま覚えてしまい、間違いを答えてしまうことがあります（いわゆる「GIGO：Garbage In, Garbage Out」）。
研究者が強調していること
- 「100％正しいモデル」というのは現実的ではなく、どんなに優れたモデルでも例外なく限界があります。だからこそ、「わかりません」と正直に言える態度が大切です。
- また、「小さなモデルの方が知らないときに黙るのが得意、かえって信用できる」場合もあることも示唆されています。
人間も似たようなことをする可能性がある
例えば、同じ薬局内のスタッフから、仕事や薬の知識に関して何かしら質問をされた時に、はっきりと知らないのに「おそらく〜だからです」と曖昧な答えをしてしまうような光景、何となく想像できるのではないでしょうか。
たとえ一時的にその場をつなげても、後で間違いが分かれば信用を失ってしまいますから、わからないことを正直に伝えるのが本来誠実な対応です。
ここで、先ほどの論文の内容を振り返ってみましょう。
現状のGPT（モデル）の評価方法の問題点は、以下のような内容でした。
- 回答できなかった、もしくは「わかりません」のような出力だった場合は、例外なく得点がゼロ
- 誤った回答を繰り返していると、稀に正解することがあるため、「わかりません」と正直に出力するより得点の期待値が高い
先ほどの例にも当てはまると思いませんか？
「わからない」ことを相手に知られるより、曖昧な回答をする方が最終的に自分にとってプラスになる…そのような心理が働いているのかもしれません。
「分かりません」と言える勇気
調剤薬局に限った話ではないですが、突然の質問に対して即答できない場面があります。その時に「勉強不足で大変恐縮なのですが…」と言える勇気が重要です。聞くは一時の恥、聞かぬは一生の恥です。
そして、教えてもらった内容は確実に習得し、次回同じ質問をされた時に即答できるようになっておきましょう。
もちろん、実際の現場では「わかりません」が許されない場面もあるかもしれません。しかし、そう言った緊迫した場面において誤った情報を伝えると、場合によっては悲惨な結果を招くことになります。
ですから、たとえその場で厳しく指摘されたとしても、誤った情報を伝えるよりは、お互いにとって良い結果になるはずです。
「わかりません」と言える勇気。それを持てる人や組織ほど、長い目で見て信頼を得られるのではないでしょうか。
AIと人間に共通する教訓
今回のハルシネーションの論文が示しているのは、「知らないことを曖昧に回答して取り繕うより、正直に伝える方が誠実で価値がある」ということです。生成AIのハルシネーションの事情について知ることは、私たちの働き方や人との関わり方に変化をもたらし、信頼を得るためのヒントになります。
加えて個人的にもう一つ印象に残ったのは、論文にて言及されていた新しい評価──「わかりません」と正直に言ったり、質問をクリアにする対応には部分的に得点を与える──という部分です。
例えば、自分の後輩が「わかりません」と言った時に、「わかりません」と正直に意思表示できたことに対して一定の評価をすることで、患者さんやステークホルダーに対しても「勉強不足で大変恐縮なのですが…」と言えるように成長するのではないかと思いました。
というわけで「早速今日から実践しよう！」と思いましたが、最近転職したばかりの私には後輩がいませんでした。残念。
いつになるかは分かりませんが、後輩ができるその日まで忘れないようにします。
