JAMSE：日本語LLM評価用の高品質な少サンプル日本語ベンチマークの作成および評価－GENIACLLM開発コンペティションからの知見－

OpenAI社のGPTモデルをはじめ，世界中で新たな大規模言語モデル（LLM）が開発され続けている．日本でも，高性能な日本語LLMを目指した開発が進められ，発表されるモデルの数は加速度的に増加してきた．こうした新規モデルの性能向上に合わせて，日本語の評価ベンチマークも継続的に整備されることが重要である．しかし，JGLUE[1]やRakudaベンチマーク2）など，いくつかのベンチマークが発表されてはいるものの，依然としてその数は少ない．また，既存のベンチマークはサンプル数が非常に多く，105程度のサンプルが含まれることも珍しく1）本研究で新たに翻訳されたデータセットは以下で公開されている:https://huggingface.co/collections/weblab-GENIAC/jamse-66e49d2241e4987cc02830362）https://yuzuai.jp/benchmarkない．このようなベンチマークをLLM評価に用いると，GPU計算に4,000時間以上かかるという報告もあり[2]，計算コストが問題となっている．そこで本研究では，高品質かつ少サンプルの日本語ベンチマークJAMSE（JApaneseMinimum-SizedEvaluationbenchmark）を提案する．JAMSEは，一問一答タスクを含む6つのベンチマークと，文章生成タスクを含む1つのベンチマークの計7ベンチマークから構成されている．そのため，JAMSEで高いスコアを獲得するには，幅広い知識と高度な言語理解能力に加え，指示に従って適切な回答を生成する能力が要求される．また，1ベンチマークあたり100サンプルなので，評価コストは極めて小さい．なお，JAMSE作成の背景には，「経済産業省が主導する基盤モデルの開発に必要な計算資源に関する支援や関係者間の連携を促す『GENIAC』プロジェクト」の一環として行われた，松尾・岩澤研究室LLM開発コンペティション（GENIACコンペティション）がある．本稿では，JAMSEの評価例として，国内外の継続学習モデルに加え，コンペティションで開発された日本語LLM3）による評価結果を報告する．