Doppelganger-JC：日中同形異義語の理解能力を測るLLMベンチマーク

LLMの発達は目覚ましいが、依然として言語を跨ぐ同形異義語を扱うには課題がある。本研究では日中同形異義語(表記は同一だが各言語で意味が異なる単語)に注目し、LLMがそれらを正しく扱えるのかを評価するためのベンチマークデータセットDoppelganger-JCを構築し、分析を行った。分析の結果、言語モデルが同形異義語を「理解しやすい」言語で解釈する傾向があることがわかり、我々はこれをhomographshortcutと名付けた。この傾向は、日中同形異義語の品詞が両言語で一致している場合に顕著にみられる。本データセットは、以下のリンクで公開している1）：https://github.com/0017-alt/Doppelganger-JC