JAMSE：日本語LLM評価用の高品質な少サンプル日本語ベンチマークの作成および評価－GENIACLLM開発コンペティションからの知見－

日本語LLMの開発が盛んな一方，日本語評価ベンチマークの数や質は十分でない．また，既存のベンチマークはサンプル数が多く，評価コストが高いという問題がある．本稿では，高品質かつ少サンプルな評価用日本語ベンチマークJAMSEを提案する．JAMSEは，7つのベンチマークから構成されており，1ベンチマークあたり100サンプルである．そのため，日本語LLMの言語理解能力と生成能力を低コストで評価することができる．国内外の継続学習モデルやGENIACコンペティションで開発されたモデルで評価を行ったところ，NejumiLeaderboardNeoによる評価結果と強い相関が確認された．1）