生成AIの「言語による回答精度のブレ」を解消するには？
Rethinking Cross-lingual Gaps from a Statistical ViewpointAny piece of knowledge is usually expressed in one or a handfarxiv.org
近年の大規模言語モデル（LLM）は、驚異的な多言語能力を備えていると言っていいでしょう。しかし実際に使ってみると、「英語でプロンプトを書いた方が、いい出力が得られた」といった経験をされた方もいらっしゃるのではないでしょうか。
Google DeepMindとGoogle Researchのチームが発表した論文「Rethinking Cross-Lingual Gaps from a Statistical Viewpoint」では、従来主流であった考え方（原因）とは異なる、LLMにおける「言語間ギャップ」の真の原因を追究した結果がまとめられています。
以下、論文の要約です。
そもそも言語間ギャップとは
言語間ギャップとは、同じ知識を異なる言語で質問した際に、正答率が大きく変化する現象を指します。
例えば、論文中で紹介されている事例を挙げると…
ヒンディー語のWikipedia記事にのみ記載されている「Kreeda Bhartiの設立年」について、ヒンディー語で質問すると正確に「1992年」と答えられる。しかし、ヘブライ語や他の言語で同じ質問をすると、誤った年代を答えてしまう
とのことです。Gemini 2.5やGPT-5といった新しいモデルでも観測されています。実際、研究では20〜40%もの正答率低下が確認されました。
これまでの研究では、言語間ギャップの原因として「知識の断片化」、つまり、モデル内で知識が言語ごとに別々に保存されており、言語間で知識がうまく共有されていないという説明が主流でした。例えば、「ネルソン・マンデラ」という人物情報が、英語の表現とヒンディー語の表現「नेल्सन मंडेला」で、AIの内部では異なる場所に保存されているため、言語を変えるとうまく知識を引き出せない、という考え方でした。
今回の研究の考え方
著者らは、元の言語（ソース言語）と別の言語（ターゲット言語）で、モデルの答え方がどう違うかを「バイアス」と「分散」という2つの観点で整理しています。これは、機械学習の古典的な考え方である「平均二乗誤差（MSE）＝バイアス²＋分散」をヒントにしたものです。
バイアスが大きい状態：ターゲット言語での答えの「平均」が、ソース言語の平均と大きくずれている状態です。つまり、その言語や文脈では、モデルが正しい知識をうまく出せていないことを示します。
分散が大きい状態：知識自体は保有していますが、ターゲット言語での答えに「ブレ」が多く、安定していない状態です。
バイアスが大きいと、ターゲットの平均はソースの平均から離れた場所に配置されます。一方、分散が大きいだけなら、平均はソースの近くにあるものの、個々の答えが広く散らばっています。
この前提に基づいて、著者らは次の2点を検証しています。
- 知識がうまく移っていない（バイアスが主な原因）のなら、分散を小さくしても、ソースとターゲットの答えの一致率はあまり良くならない
- 知識は移っている（バイアスは小さい）が、ターゲット側でブレ（分散）が大きいなら、分散を小さくすることで一致率は上がります。
つまり、ギャップの原因が「知識そのものが移っていない（バイアス）」のか、「知識は移っているが答えが安定しない（分散）」のかを見分けることが重要だ、ということです。
さらに補足として、ソース言語でモデルの自信が高く（分散が小さく）安定して答えられる質問ほど、別の言語でも安定しやすい傾向があると述べています。
以上の枠組みをもとに、実験を設計しています。
原因は「知識の欠如」ではなく「応答のばらつき」という説
著者らは「同じ質問を100回繰り返してモデルに回答させる」という実験を行いました。
その結果、
- ソース言語（元の言語）：ほとんど正確な答えを返す
- ターゲット言語（他の言語）：正解を含む幅広い範囲でばらついた答えを返す
という結果になりました。
言語の違いで回答の精度に差が出たものの、ターゲット言語での回答の「平均値」を見てみると、元の言語の回答とほぼ同じ、つまり正解に近いことがわかりました。
この結果から、著者らはAIは知識そのものは持っていて、ターゲット言語では「自信がなく」、それゆえ回答がばらついてしまう。これが言語間ギャップの原因ではないかと主張しています。
もう少し詳しく説明すると、
- 同一の質問をモデルに複数回投げ（Temperatureを変えず、シードのみを変えて試行）、応答内容を総合的に「平均化」または「多数決」でまとめると、元の言語とターゲット言語とのギャップは小さくなったので、「応答のばらつきを減らすと、ギャップも減る」と判断。
- 特に、正しい知識が「移っていない」という仮定（バイアス仮説）が優勢ならば、「応答のばらつきを下げても一致している確率はあまり変わらない」はず。にもかかわらず、実際には正答率が上昇。従って、知識の移植失敗（バイアス仮説）だけでは説明できない。
- また、元の言語におけるモデルの「自信」が高い問い（分散が小さい問い）ほど、ターゲット言語でもギャップが小さいという傾向が見られた。すなわち「ソース言語でブレが少ない問いに関しては、他言語でも出力が安定している」という傾向があった。
これらの結果から、著者らは「言語間ギャップの主な原因は、知識の多言語への移植失敗ではなく、ターゲット言語での回答の不安定性、すなわち分散の増大である」と結論づけています。論文では、この現象を「知識は伝達されているが、確信度（confidence）が伝達されていない」と表現しています。
研究チームからの3つの対策案
著者らは論文内で、生成AIを使用するときに実施できる具体的な対策案を提示しています。これらの方法により、20-25％の精度向上が確認されたようです。
方法１：レスポンス・アンサンブル
同じ質問を複数回（5-10回など）行い、最も多く出現した回答を採用する、多数決方式です。研究によると、10回のアンサンブルで言語間ギャップが大幅に縮小することが示唆されています。
方法２：トランスレーション・アンサンブル
質問文を複数の言語に翻訳し、それらをまとめてAIに提示する方法です。
以下の質問に答えてください。
– 日本語：アスピリンの作用機序は？
– 英語：What is the mechanism of action of aspirin?
– スペイン語：¿Cuál es el mecanismo de acción de la aspirina?
Answer:
複数の言語表現を同時に見せることで、AIの応答が安定することが示唆されています。
方法３：質問を翻訳してから回答してもらう
生成AIに対して「まず質問を複数の言語に翻訳してから、それを踏まえて答える」ように指示する方法です。
以下の質問を3つの異なる言語に翻訳してください。
そして、それらの翻訳を参照しながら、質問に正確に答えてください。
質問：アスピリンの作用機序は？
この方法は、AIに「複数の視点から考える」ことを促し、応答のばらつきを抑制します。
留意すべき点
もちろん、この研究は「データが少ない言語」や「学習されていない言語」に対して同じ扱いをすることはできない点には注意が必要でしょう。著者ら自身も「本分析は、あくまで学習データにある程度含まれる言語を対象としており、未学習言語で同様かどうかはさらなる検証が必要」と述べています。また、なぜターゲット言語で分散が増えるのかというメカニズムそのものについては、「次の課題」としています。
薬剤師も決して無視できない内容
冒頭でも述べたとおり、「英語でプロンプトを書いた方が、いい出力が得られた」という経験をされた方は、一定数存在するのではないかと勝手に想像していますが、個人的には画像や動画を生成するときに多い印象を受けます。生成AIで画像や動画を生成する場合ならまだ良いのですが、例えば薬剤師の業務において、海外の論文・資料を読むときの補助として活用する場合、先述の「言語間のギャップ」は致命的になります。
「じゃあ、英語の資料だったら英語で質問しよう」といって、うまくいく保証はありません。なぜなら、その資料自体は英語で書かれていたとしても、内容によっては他の言語で質問した方が、生成AIが「自信を持って」回答できる可能性があるからです。
これはあくまで私の考えですが、仮に「相撲の歴史に関する英語の論文」を要約するとき、日本語で質問した方が、より良い結果が得られそうな気がしませんか？
ただ実際のところ、どの言語で質問するのが最も適切なのかを判断するのは難しいので、現実的な対応策として、先述の応答の安定性を確保するための工夫（例えば先述の方法１〜方法３のような）を施したうえで活用することが、より安全・安心な生成AI運用につながるかもしれません。
また、複数のモデルに同じ質問をしてみるのも良いでしょう。以前紹介した「天秤AI」であれば同時に比較できるので、個人的におすすめです。
無料でAI同時検索 天秤AI byGMO天秤AIでChatGPT・Claude・Geminiなど複数の最新AIを、最大6モデルまで同時検索！メール作成やSNS投稿tenbin.ai
https://note.com/embed/notes/ncfd13a828c3f
利益相反（Conflict of Interest）
開示すべき利益相反はありません。
