日本語大規模言語モデルの開発競争が活発化する中、日本の文化や風習に特化した難度の高い評価用ベンチマークが必要になっている。本稿では、現在構築している日本語の多肢選択式質問応答ベンチマークJamC-QAについて述べる。JamC-QAは日本の文化や風習といった国内独自の知識を問う問題を既存のベンチマークの翻訳でなく、1から作成しており、問題数は2024年12月現在、1,045問である。評価実験では、JamC-QAを用いることで、日本固有の知識問題に関するモデル性能の差を確認できた。これは既存の日本語ベンチマークでは見えなかったものである。またスコア向上の余地もあり、解くべき難しさもまだ十分に含むことがわかった。

ChatGPT[1]やLlamaシリーズ[2,3]など、英語を中心に学習した大規模言語モデル（以下、多言語モデル）は学習用データに日本語テキストをほとんど含まないにもかかわらず、日本語ベンチマークで高いスコアを示している。例えば、JCommonsenseQA（以下、JComQA）[4]には言語横断的な一般常識を問う問題が多く含まれることから図1の比較でも多言語モデル[3,5,6]は日本語継続事前学習モデル[7,8]や日本語でスクラッチ学習したモデル[9]1）2）と同等のスコアを達成している。一方で日本国内の多くの組織、アカデミアや企業は日本語に強い言語モデルの開発を続けている。その意義として、日本固有の知識の獲得がある[10]。獲得された知識を評価するには、日本の文化や風習に合わせた難度の高いベンチマークが必要だが、高性能なモデルに合わせた難度の高いベンチマーク開発も英語が1）https://huggingface.co/sbintuitions/sarashina2-70b2）https://huggingface.co/sbintuitions/sarashina2-8x70b主で行われている。英語ベンチマークを機械・人手で翻訳して用いることもあるが、翻訳の不自然さや英語圏との文化差から、日本固有の知識の評価に適さない。同じ問題意識から、非ヨーロッパ圏を中心に翻訳ではなく、ベンチマークを独自に1から構築する流れがある。例えば英語の標準ベンチマークMMLU[11]に対し、中国語版のCMMLU[12]や韓国語版のKMMLU[13]が翻訳を使わずスクラッチから構築された。日本語でもJMMLU3）が構築されたが、ほとんどの問題がMMLUの翻訳（翻訳問題）である。翻訳問題は数学や天文学、国際法や世界宗教といったどの国にも関わる言語横断的な知識問題であり、日本特有の文化や風習を問うものではない。日本でスクラッチから作られた問題（日本問題）も一部あるが、JMMLUの日本問題はJComQAと同様に難度が低く、図1の比較でも日本問題のみに限定した場合、スコアは頭を打っている。そこで本稿では、現在構築している日本語の多肢選択式質問応答ベンチマークJamC-QAについて述べる。JamC-QAはMMLUやJMMLUと同じく多肢選択式質問応答だが、既存ベンチマークの翻訳でなく1から問題を作成している。難度はJMMLUの日本語問題よりも高いものを目指し、日本の文化、風習を問う問題に重点を置いた。その結果、いLlama-3.1-70BとLlama-3.1-405Bも一番右に示すJamC-QAを使った評価では10pt以上の差が確認できる。またLlamaの継続事前学習モデルSwallowがLlamaシリーズのスコアから伸び悩んでいる一方、より多くの日本語のテキストでスクラッチから事前学習したSarashinaシリーズが日本固有の知識を問う問題で高いスコアを示すこともわかった。3）https://github.com/nlp-waseda/JMMLU.1.00.80.60.40.20.0