YOMI-Bench：LLMの日本語読み理解に向けた評価用ベンチマーク

本研究では，日本語の読み評価に特化したLLMベンチマークであるYOMI-Benchを提案する．日本語における漢字は同じ1文字でも読みの候補が複数あり，表層上のテキストからは読みを想起するのが難しい．このような言語的側面から，LLMにおいても日本語の漢字の読みに関する性能が低いことが経験的に知られている．提案するYOMI-Benchは日本語の読み性能評価に特化した3種類のタスクで構成されたベンチマークである．本ベンチマークを用いた評価実験の結果，日本語に特化したローカルLLMであっても読み性能は限定的であることが明らかとなった．さらに，読みを明示的に考慮する生成タスクにおいては，商用モデルにおいても十分な性能が得られていないことが確認された．