本研究では，日本語の読み評価に特化したLLMベンチマークであるYOMI-Benchを提案する．日本語における漢字は同じ1文字でも読みの候補が複数あり，表層上のテキストからは読みを想起するのが難しい．このような言語的側面から，LLMにおいても日本語の漢字の読みに関する性能が低いことが経験的に知られている．提案するYOMI-Benchは日本語の読み性能評価に特化した3種類のタスクで構成されたベンチマークである．本ベンチマークを用いた評価実験の結果，日本語に特化したローカルLLMであっても読み性能は限定的であることが明らかとなった．さらに，読みを明示的に考慮する生成タスクにおいては，商用モデルにおいても十分な性能が得られていないことが確認された．

近年，大規模言語モデルの多言語に対する処理能力の分析が多角的に進められている[1]．その中でも，本研究では言語処理能力として「読み能力」に着目する．読み能力は言語ごとに性質が大きく異なり，同一の文字体系を共有する言語間であっても，読みと音の対応関係には顕著な差異が存在する．たとえば，中国語と日本語は多くの漢字を共有しているが，中国語における漢字1文字は，約10%の文字を除いて，ほとんどが1つの音にのみ対応している[2]．それに対して，日本語は約60%の漢字に対して読みが複数存在し，より複雑な情報を必要としている．このように，同じ漢字でも日本語の漢字は読みを推定することが難しく，LLMにおいても読みに関する性能が低いことが経験的に知られている．同様の理由で，読みを考慮したようなテキスト生成も難しく，例えば押韻のような，同じ音を持つ単語の生成は未だ課題である．そこで，本研究では日本語の読み理解に着目し，LLMの日本語読み性能を評価できるベンチマークであるYOMI-Benchを作成する．本ベンチマークは再現性の確保および研究利用を目的として公開予定である．YOMI-Benchでは，例えば「覚醒という単語の読みはなにか？」という問いに対して，「読みはかくせい」のように回答するタスクを含むマルチタスクな評価セットである．また本ベンチマークを用いて，代表的なLLMによるタスクの評価結果を示すことで，日本語における読みが正しくLLMによって理解できているかを定量的に評価する．