AIは「隠れた本音」を見抜けるか
Pragmatic Theories Enhance Understanding of Implied Meanings in LLMsThe ability to accurately interpret implied meanings plays aarxiv.org
例えば、「この薬、強いですね」という患者さんの一言には、副作用への懸念、薬への漠然とした不安、あるいは服薬継続への疑問が込められているかもしれません。このような何気ない一言の裏には、たくさんの「隠れた本音」の選択肢が存在し、調剤薬局においては、こうした「隠れた本音」を正確に読み取らないといけない場面が、多々あります。
こういった考えは、語用論という分野で扱われてきた問題です。この分野では、文脈や背景知識、社会的な配慮などを総合的に考慮して、話し手の真の意図を推論する仕組みが研究されています。
今回の研究は、語用論の考えを活用してLLMの「隠れた本音」への理解を向上させるという研究です。モデルのパラメータを調整するのではなく、プロンプト設計の工夫によって「隠れた本音（行間）を読む力」の向上に成功したことを示唆する内容となっています。
まず、研究の内容の解説に入る前に、「グライスの協調原理と会話の公理」「スペルベルとウィルソンの関連性理論」について簡単に補足します。
グライスの協調原理と会話の公理
この研究で活用されているのが、言語哲学者ポール・グライスが提唱した協調原理（Cooperative Principle）と会話の公理（Maxims）です。
協調原理とは？
グライスは、日常会話が円滑に成り立つのは、話し手と聞き手の双方が「会話を協力的に進めよう」という前提を共有しているからだと考えました。
つまり、話し手も聞き手も、無意味なことや無関係なことを言うのではなく、相手にわかってもらおうという意図をもって会話を進めている、という仮定です。[1]
会話の公理とは？
グライスによれば、私たちは会話において、以下のような暗黙のルールに従っていると考えられます。
- 量の公理：必要な情報を、必要なだけ提供する
- 質の公理：真実だと信じることを述べ、根拠のないことは言わない
- 関係の公理：話題に関連することを述べる
- 様態の公理：明瞭に、曖昧さを避けて話す
そして、これらの公理を意図的に破ることによって、皮肉や婉曲表現などが生まれると考えることができます。[1]
例えば、先ほどの「この薬、強いですね。」を理解する場合、
- 「量の公理」を破っている（何が強いのかがわからない）。
- 聞き手（薬剤師）は協調原理に基づいて推論し、「副作用を心配しているのではないか」と判断。
このようなプロセスで会話が進みます。
もう一つの重要な理論、関連性理論
研究ではもう一つ、関連性理論も活用されています。これは、スペルベルとウィルソンによって提唱された、グライス理論をさらに洗練させたアプローチです。
関連性理論では、コミュニケーションは「認知効果（聞き手が新しい知識を得たり、既存の知識を修正したりする効果）」と「処理労力（理解にどれだけ努力が必要か）」のバランスで説明されます。そして私たちは、最小の処理労力で最大の認知効果が得られる解釈を求める、という原理です。[2]
つまり、
- すぐに意味がわかり、有益な情報が得られる発話は「関連性が高い」
- わかりにくく、得るものが少ない発話は「関連性が低い」
このように判断する傾向がある、ということになります。
研究の手法
研究の話に戻りましょう。
この研究のアプローチは、「語用論の理論を、プロンプトとして直接LLMに提示する」というものです。
具体的には、以下のようなプロンプトが用意されました。
①基準となるプロンプト
- simple：特に何も特別な指示をしないプロンプトです。
- cot：Chain of Thought（文章をステップごとに考えながら答えるようにする方法）によって、LLMに発言の意味を考えてもらうプロンプトです。
ただし、これらには先ほど紹介した語用論の理論を（プロンプト内で）教えていません。これらを比較のための「ベースライン（基準）」としました。
②新しいプロンプト（提案手法）
- grice：「グライスの協調原理」の理論を詳しく説明した文章を提示してから、考えてもらうプロンプトです。
- relevance：「関連性理論」を詳しく説明した文章を提示してから、考えてもらうプロンプトです。
また、各理論の名前だけを短く提示する「grice_short」「relevance_short」というプロンプトも用意されました。
そして実験には、「PRAGMEGA」という語用論のデータセットが使用されました。このデータセットには、以下のような分類が含まれています。
- Deceits（婉曲表現）：社会的配慮から真実を直接言わない表現
- Indirect Speech（間接的発話） ：依頼や提案を遠回しに伝える表現
- Irony（皮肉）：文字通りの意味とは反対のことを伝える表現
- Maxims（公理違反）：グライスの公理を意図的に破る表現
- Metaphor（比喩）： 文字通りの意味ではない、例えを使った比較表現
この前提のもと、LLMに選択肢付きの設問（4〜5択）を与え、プロンプトの違いにより最終的な正答率がどう変化するかを比較しました。
結果
- どのモデルでも、提案手法（Grice・Relevance）が、simpleやcotより高得点になる傾向がありました。最大改善幅は +0.096（9.6%。phi‑4で確認）でした。
- GPT‑4oは、すべての提案手法で人間平均を上回る精度に到達しました。
- _short（理論名だけ教えるプロンプト）でも、多くのモデルで小幅改善（約1–3%）が起きました。よって、モデル自体はこれらの理論を学習して知識として蓄えていることになります。ただし、理論の要点をしっかり書いた長いプロンプトのほうが効果が大きい傾向がありました。
分類別の分析
- Irony（皮肉）
最も顕著な改善が見られた現象です。グライス理論を用いることで、GPT-4oは人間レベルの精度に到達しました。 - Indirect Speech（間接的発話）
一貫した改善が見られましたが、理論間の明確な優劣はありませんでした。 - Maxims（公理違反）
グライスの公理を含むプロンプトでも必ずしも改善しない場合がありましたが、140億以上のパラメータを持つモデルでは、一般的に精度が向上しました。 - Metaphor（比喩）
大規模モデルでの改善が見られましたが、理論の詳細な説明が効果的でした。 - Deceits（婉曲表現）
モデルによって効果が異なり、一貫した傾向は見られませんでした。
注意点
この研究においては、提案手法のプロンプトが基準のプロンプトより得点が高くなる傾向が認められますが、提案手法のプロンプトと基準のプロンプトとの間に統計的有意差があるかどうかは、この論文の内容だけでは判断することはできません。
言い換えると、その差が本当に意味のある差なのか（たまたま起こった結果である可能性）については、特に検定などで確かめられていない、ということになります。
実際のコミュニケーションは、もっと複雑
今回は、テキストベースの実験でした。
しかし、実際の調剤薬局におけるコミュニケーションは、
- 表情
- 声のトーン
- 言葉と言葉の間（ま）
といった要素も加わってきます。さらに、
- 思想・信条・宗教
- 既往歴・現病歴
- 家庭の事情
- 主観の違い（例えば同じ痛みでも、「絶望的な痛み」と表現する人もいれば、「蚊に刺された程度」と表現する人もいる）
このような要素が加わってきて、おまけに、
- 病院・クリニックでの待ち時間
- 調剤薬局での待ち時間
- 直近の出来事
これらの事情により、いつも来局される同じ人の対応でも、「適切な対応」はその都度変わってくるのです。どれだけ高性能なAIが調剤薬局に配置されたとしても、これらの事情を全て汲み取って100点満点のコミュニケーションを遂行するのは、おそらく不可能でしょう（もちろん人間でも）。
ただ、研究の結果は興味深いです
今回の研究では、プロンプトに「グライスの協調原理と会話の公理」「スペルベルとウィルソンの関連性理論」の説明を加えることで、もともとLLMが学習していた（と思われる）知識を「引き出す」ことに成功した可能性が示唆されています。
「自分の求める回答を出力してもらうために、必要な情報をきちんと提示する」ということの重要性が、改めて理解できた研究結果でした。
参考文献
[1] H. P. Grice (1975) “Logic and Conversation.” Syntax and Semantics, Vol. 3: Speech Acts, ed. by Peter Cole & Jerry L. Morgan, Academic Press, pp. 41–58.
[2] Dan Sperber & Deirdre Wilson (1986) Relevance: Communication and Cognition. Blackwell.
