Doppelganger-JC：日中同形異義語の理解能力を測るLLMベンチマーク

近年LLMの発展は目覚ましいが、英語の学習データが豊富であることから、LLMは多くの場合英語中心的であり、多言語対応が重要な課題になっている[1]。[2]によれば、LLMの2言語に跨る同形異義語の扱いにはまだ課題がある。中国語と日本語は歴史的に互いに影響を与え合っており、両言語には多くの共通した単語が存在する。それらは両言語で似たような意味を持つ場合が多いが、意味変化を経て全く異なる意味を持つようになったものもあり、それらを同形異義語と呼ぶ。統計的には、日本語の頻出上位2万語のうち、50%は漢語、29%は同形語、6%は同形異義語とされる[3]。LLMが日中同形異義語を扱う能力を体系的に評価するデータセットは我々の知る限り存在していな1）本研究の内容は、国際学会IJCNLP-AACL2025に採択されたものに基づく。(a)日中誤翻訳(b)中日誤翻訳い。そこで我々は(1)Doppelganger-JCというデータセットを構築し、(2)日中同形異義語に関するLLMの性能評価と誤用の原因の分析を行った。Doppelganger-JCには(1)語義判定、(2)文脈内語義判別、(3)翻訳の3つのタスクがあり、それぞれ多肢選択問題として与えられる。評価に用いたモデルは、2つの日本産LLM、2つの中国産LLMと3つのその他のLLMである(表1)。本研究の貢献は以下である：2）https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-corpus-v33）https://ai.meta.com/blog/meta-llama-3/4）https://telnyx.com/llm-library/mistral-7b-instruct-v0-2Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).文を生成させた。また、同時にその例文の中国語・英語への翻訳、3つの「誤った」中国語への翻訳も生成させた。この「誤った」例文のうち一つは、必ず同形異義語そのものを含むようにしている。この同形異義語を含むような翻訳を選択した場合、LLMはhomographshortcutを起こしているということができる。生成文の質を保証するため、日本語話者・中国語話者が日中全ての生成文に対して(1)流暢で自然か、(2)例文に含まれる単語は指定した意味で使われているか、(3)正しい翻訳文が同形異義語をそのまま含んでいないか、(4)誤った翻訳文のうち少なくとも一つが同形異義語を含んでいるか、を確認した。3.3タスク設計LLMの日中同形異義語処理性能を評価するために、語義判定タスク・文脈内語義判別タスク・翻訳タスクの3つのタスクを用意した。各タスクは4択問題として与えられる。以下日本語タスクについて説明するが、中国語に関しても同様である。語義判定タスクLLMは語義を正しく選択する必要がある。プロンプトは日本語で書かれ、選択肢は日本語独自義、中国語独自義、無関係な義2つの4つで、この中から正しく日本語独自義を選ぶことになる。文脈内語義判別タスクLLMは例文中の単語の意味を正しく選択する必要がある。プロンプトは日本語で書かれ、選択肢は語義判定タスクと同様である。翻訳タスクLLMは与えられた中国語文の正しい日本語訳を選択することになる。プロンプトは日本語で書かれ、選択肢は正しい翻訳文と、生成した3つの「誤った」翻訳文である。4実験4.1実験設定モデル使用モデルは表1に示している。各モデルは自国の言語で、より性能が上がるという仮説のもと、複数の日本産・中国産モデルを採用している。また、比較のため、データセット中の各タイプから50%の設問を取り出し、2名の中国人留学生ボランティア(JLPT-N2レベル6）)に対してLLMと全く同じ指示を示して問題を解いてもらった。6）https://www.jlpt.jp/e/about/index.html評価指標全タスクに関し、LLMに指示文とそれぞれの選択肢を与え、最もperplexityが低かったものの正答率をLLMの性能としている。4.2結果人間はどのタスクについても高い性能を出しているが、LLMの性能は比較的低くとどまっている。特に、単語に関する文脈情報が不足しているため、語義判定タスクがLLMにとっては最も難易度が高くなっている。語義判定タスクでは正答率がランダム率よりも低い場合もあるが、文脈情報を与えられると(文脈内語義判別タスク)モデルの精度は向上する。また、言語に注目すると、日本産モデルは日本語タスク、中国産モデルは中国語タスクでより良い性能を出すことがわかる。これは、各モデルの事前学習コーパス中の言語の偏りによるものだと考えられる。日中同形異義語に関しては、モデルは自身が「理解しやすい」言語により近いものをたとえ誤りであっても選ぶ傾向があると言える。この傾向をhomographshortcutと名付ける。以下の章では、翻訳タスクに焦点を絞り、このhomographshortcutについて分析を進める。Model語義判定文脈内語義判別翻訳T-1T-2T-1T-2T-3T-1T-2T-4Human95.0493.4093.4094.4792.2095.2895.8293.82llm-jp64.8750.5579.0049.1758.3665.4972.6373.08ELYZA-JP53.8842.8674.2451.3855.8160.4467.6070.63Qwen2.5-7B30.6025.2759.0944.2027.2064.1870.3973.78Baichuan2-7B20.9118.6857.1444.2046.7458.9062.5764.34Llama-3.141.1634.6267.7545.3046.7470.5571.5172.38gemma-7b41.3835.7164.9446.4146.4660.0067.0468.53Mistral-7B24.3517.5851.3037.0239.0941.3246.3745.80Model語義判定文脈内語義判別翻訳T-1T-2T-1T-2T-4T-1T-2T-3Human94.4090.6696.1092.7398.8494.5995.0390.94llm-jp28.4537.9140.6630.1736.3658.2361.8850.99ELYZA-JP24.1429.6747.4735.7550.7052.8158.5648.16Qwen2.5-7B62.9354.4072.9748.0453.8569.7072.3861.47Baichuan2-7B60.3451.1071.2154.1966.7861.6967.9650.14Llama-3.149.5747.8063.9646.9345.4572.0876.2466.57gemma-7b53.6651.6556.7039.6647.2061.0465.7554.39Mistral-7B44.8342.8653.8542.4647.9049.7856.3542.78org/licenses/by/4.0/).5翻訳タスクに関する分析5.1HomographShortcutの割合こした割合、つまり選択肢の中から同形異義語そのものを含むものを選んだ割合を示している。この結果から、主な誤りの原因はhomographshortcutであるとわかり、homographshortcutはLLMにとって大きな問題であることがわかる。モデル日-中中-日llm-jp72.8767.84ELYZA-JP84.4274.53Qwen2.5-7B84.3681.44Baichuan2-7B85.8971.91Llama-3.167.2465.53gemma-7b81.1478.25Mistral-7B68.2375.10ものを含む選択肢を選んで誤った割合(%)5.2同形異義語誤用の非対称性プを示している。結果より、人間は52.5%が日中双方向の誤りであるのに対し、LLMは誤りが双方向で起こる場合は限られており、日本産モデルは中日訳でより誤りを起こしやすく、中国産モデルは日中訳でより誤りを起こしやすいことがわかる。§4.2と同様に、各モデルの事前学習コーパスの言語の偏りが原因で引き起こされていると考えられる。100BidirectionalJP-to-ZHZH-to-JPDistributionofErrorTypesinTranslationTasks(%)806040200ELYZA-JP-8BBaichuan2-7BMistral-7Bllm-jpgemma-7bLlama-3.1-8BhumanQwen2.5-7B青は日中訳のみの誤り、緑は中日訳のみの誤り、赤は両方向での誤りを示す。5.3日中同形異義語の品詞データベース中の同形異義語を日中で品詞が同じ/異なるという2グループに分け、翻訳タスク性能を比較した(表6)。品詞は、日本語についてはMecab7）、中国語についてはjieba8）で取得した。結果より、LLMは日中で品詞の異なる単語に対してはその用法や意味の違いをより捉えやすいことがわかる。依然として人間の精度には届かないものの、品詞のような言語学的な特徴を活用することは、LLMの同形異義語の誤用に関する問題の解決に近づく方法の一つだと考えられる。Model品詞が同じ品詞が異なる中-日日-中中-日日-中llm-jp55.9855.6374.7259.60ELYZA-JP52.4550.0772.2455.77Qwen2.5-7B58.3161.5173.7674.27Baichuan2-7B46.9156.4467.8966.23Llama-3.161.5270.1171.5372.86gemma-7b54.0054.3173.5464.99Mistral-7B28.9245.8049.5354.42翻訳タスクの性能(%)6結論本研究では、LLMが日中同形異義語を扱う能力を測るDoppelganger-JCという新たなベンチマークデータセットを構築した。分析から、homographshortcutという現象を発見し、LLMが同形異義語を自身の「理解しやすい」言語で解釈する傾向があることを指摘した。また、日中同形異義語が異なる品詞を持つ際は、文法制約からモデルは意味の違いを見分けやすく、homographshortcutを回避しやすくなると示した。これらの結果はLLMにとって日中同形異義語の扱いは未だ課題であることを示し、高品質データに加え品詞などの言語的特徴を活用した新たな手法を発展させる可能性を示唆している。今後の課題として、本研究ではカバーしきれなかった日中同形異義語への対応、人手評価の大規模化などが挙げられる。また、多肢選択問題だけでなくより多様な方法での性能評価や、この手法の他言語ペアへの適用も考えられる。謝辞本研究の遂行にあたり、国立国語研究所の松下達彦先生に日中対照漢字語データベースを提供7）https://taku910.github.io/mecab/8）https://github.com/fxsjy/jiebaorg/licenses/by/4.0/).