YOMI-Bench：LLMの日本語読み理解に向けた評価用ベンチマーク

近年，大規模言語モデルの多言語に対する処理能力の分析が多角的に進められている[1]．その中でも，本研究では言語処理能力として「読み能力」に着目する．読み能力は言語ごとに性質が大きく異なり，同一の文字体系を共有する言語間であっても，読みと音の対応関係には顕著な差異が存在する．たとえば，中国語と日本語は多くの漢字を共有しているが，中国語における漢字1文字は，約10%の文字を除いて，ほとんどが1つの音にのみ対応している[2]．それに対して，日本語は約60%の漢字に対して読みが複数存在し，より複雑な情報を必要としている．このように，同じ漢字でも日本語の漢字は読みを推定することが難しく，LLMにおいても読みに関する性能が低いことが経験的に知られている．同様の理由で，読みを考慮したようなテキスト生成も難しく，例えば押韻のような，同じ音を持つ単語の生成は未だ課題である．そこで，本研究では日本語の読み理解に着目し，LLMの日本語読み性能を評価できるベンチマークであるYOMI-Benchを作成する．本ベンチマークは再現性の確保および研究利用を目的として公開予定である．YOMI-Benchでは，例えば「覚醒という単語の読みはなにか？」という問いに対して，「読みはかくせい」のように回答するタスクを含むマルチタスクな評価セットである．また本ベンチマークを用いて，代表的なLLMによるタスクの評価結果を示すことで，日本語における読みが正しくLLMによって理解できているかを定量的に評価する．