質問の口調は、生成AIの回答精度に影響するのか
Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy (short paper)The wording of natural language prompts has been shown to infarxiv.org
GPT-4oに対して「丁寧な言葉遣いよりも失礼な口調を用いた方が、モデルの回答精度が向上することが示唆された」という研究です。
2024年のYinらの研究では、逆に「失礼なプロンプトは性能が落ちやすい」という示唆となっていましたが、今回の研究は、より新しいモデルである「GPT-4o」を用いてこの点を再検証することを目的としています。
【補足】
2024年のYinらの研究で使用されたモデルは、以下の5種類です。
・GPT-3.5
・GPT-4
・Llama‑2‑70B‑chat（英語特化のモデル）
・ChatGLM3-6B（中国語特化のモデル）
・Swallow‑70B‑instruct‑hf（日本語特化のモデル）
Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, and Satoshi Sekine. 2024. Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance. In Proceedings of the Second Workshop on Social Influence in Conversations (SICon 2024), pages 9–35, Miami, Florida, USA. Association for Computational Linguistics.
今回は「失礼な口調で回答精度が向上した」ことを示唆した研究結果について、詳しくみていきます。
以下、論文の要約です。
実験の方法
この研究では、丁寧さの度合いがAIの正答率にどう影響するかを調べるため、以下のような実験計画が立てられました。
1. 問題データセットの作成
まず、数学・科学・歴史の3分野にわたる、中程度から高難易度の「多肢選択問題」を50問作成しました。これらの問題は、単純な知識だけでなく、複数ステップの思考を必要とするように設計されています。
2. 丁寧さのバリエーション作成
次に、先ほど用意した50問のそれぞれについて、口調を5段階に変化させた「接頭辞」を入力し、その後に各問題に回答するためのプロンプトを入力しました。
接頭辞の5段階の丁寧さレベルは、以下の通りです。
- Level 1：非常に丁寧（Very Polite）
「Can you kindly consider the following problem and provide your answer.（以下の問題についてご検討いただき、ご回答いただけますでしょうか。）」 - Level 2：丁寧（Polite）
「Please answer the following question.（次の質問に答えてください。）」 - Level 3：中立（Neutral）
（接頭辞なし） - Level 4：失礼（Rude）
「If you’re not completely clueless, answer this.（もし君が無知ではないなら、これに答えなさい。）」 - Level 5：非常に失礼（Very Rude）
「You poor creature, do you even know how to solve this?（哀れな奴め、お前にこんな問題が解けるか？）」
3. AIによる評価
作成された250個のプロンプトは、すべてGPT-4oに入力されました。また、各プロンプトには回答の一貫性を保つため、以下の指示文が追加されました。
“Completely forget this session so far, and start afresh. Please answer this multiple-choice question. Respond with only the letter of the correct answer (A, B, C, or D). Do not explain.”
(これまでのセッションを完全に忘れて、新たに考え始めてください。この多肢選択問題に答えてください。正解の選択肢の文字（A、B、C、D）のみで回答してください。説明は不要です。)
この指示により、前の質問の影響を受けずに、各質問が独立して評価されるようになっています。
4. 分析
得られた結果が単なる偶然ではないことを確認するため、各口調の条件で実験を10回繰り返し、得られた正答率の差が統計的に意味のあるものか（有意差があるか）を、対応のあるt検定で検証しました。
実験結果
各丁寧さレベルでの平均正答率は以下の通りで、冒頭でも述べた通り、「口調が失礼になるにつれて精度が向上する傾向」が見られました。
丁寧な口調（Very Polite, Polite）と、中立・失礼な口調（Neutral, Rude, Very Rude）との間の正答率の差は、偶然では説明できないほど大きい（統計的に有意である）ことが確認されました。
つまり、口調の違いがAIの精度に影響を与えていることが示唆されました。
考察
この結果は、以前のYinらの研究（2024年、リンクは記事冒頭部）が示した「失礼な態度は性能低下につながる」という結論とは異なります。この違いはLLMの進化により生じた可能性があり、GPT-4oのような新しいモデルは、古いモデルとは異なる方法で言葉のニュアンスを処理する能力を持っている可能性があると考察しています。
ただ、今回の著者らは「失礼なプロンプトで精度が上がったからといって、実社会でAIに対して敵対的な言葉を使うことを推奨しない」としています。そのような態度は、ユーザー体験を損ない、AI利用のハードルを上げ、包括的な利用を妨げる可能性があるためです。
今後の課題は、失礼な言葉を使わずに同様の性能向上を達成する方法を見つけることであると結論づけています。
注意点
この研究の限界として、以下の点に留意すべきでしょう。
- データセットの規模：50問という問題数は、比較的小規模です。
- モデルの多様性：主にGPT-4oに依存しており、他のLLMで同じ結果が得られるかは不明です。
- 評価指標：評価が多肢選択問題の正答率に限定されています。
- 丁寧さの定義：丁寧さの定義が特定の接頭辞に限定されています。
我々薬剤師が患者さんと接するとき
例えば、「今飲んでいる降圧剤と市販の解熱鎮痛剤の飲み合わせに関する質問」に対応することを考えてみましょう。
仮に、以下の2通りの口調で質問されたとして、薬剤師の回答内容は変化するでしょうか。
- 「お手数なのですが…今飲んでいる血圧の薬と市販の痛み止めは、一緒に飲んでも良いのか教えてもらえませんか？」
- 「おい、この血圧の薬とドラッグストアの痛み止めは一緒に飲んでもええんか？急いどんや、早よしてくれ。」
大前提として、丁寧に質問されても、乱暴に質問されても、提供する情報の中身自体は正確でなければなりません。相手の性格や置かれている状況に合わせて、薬剤師の言葉選びや細かい対応が変化する可能性はありますが、「飲み合わせが問題ないのかどうか」という部分の情報提供の内容および正確さは、質問者の口調で変化するべきではありません。
ただし例外として、別途医師からの指示がある場合や、病状未告知などの特別な事情がある場合は、情報の中身も変化することがあります。
もちろん、必要な情報を提示した後で追加の質問があったり、更なる情報提供の要望があった場合は、それぞれ対応することになります。しかし、繰り返しになりますが、質問の口調によって「提供する情報の内容・正確さ」自体に影響が及ぶわけではありません。
生成AIの出力の考え方も同様のはずですが…
生成AIにとっても、本来ならば重要なのはプロンプトや資料に提示されている具体的な情報の内容であって、質問の口調ではないはずです。プロンプトの内容によって提供される情報の種類が変化することはあっても、「情報と無関係な口調の部分」で情報の正確性（言い換えると、ハルシネーションのリスク）が変化するべきではありません。
しかし今後、より大規模なデータセットや多様なAIモデルを用いた検証、そしてプロンプトの複雑さといった他の要因との関連性が研究され、それでも「口調によって回答の精度に有意に差がある」ことが示唆された場合、今後の生成AIの活用に関して、今まで必要なかった「新たな注意」が必要になるかもしれません。
