JamC-QA:日本固有の知識を問う多肢選択式質問応答ベンチマークの構築

日本語大規模言語モデルの開発競争が活発化する中、日本の文化や風習に特化した難度の高い評価用ベンチマークが必要になっている。本稿では、現在構築している日本語の多肢選択式質問応答ベンチマークJamC-QAについて述べる。JamC-QAは日本の文化や風習といった国内独自の知識を問う問題を既存のベンチマークの翻訳でなく、1から作成しており、問題数は2024年12月現在、1,045問である。評価実験では、JamC-QAを用いることで、日本固有の知識問題に関するモデル性能の差を確認できた。これは既存の日本語ベンチマークでは見えなかったものである。またスコア向上の余地もあり、解くべき難しさもまだ十分に含むことがわかった。