オープン日本語LLMリーダーボードの構築と評価結果の分析

ChatGPTの成功から始まった大規模言語モデルの開発は，今では全世界の共通した関心分野となっている．日本も例外でなく，独自に開発されたフルスクラッチのモデルから海外の有名なモデルを日本語に特化させたモデルまで，様々な日本語の大規模言語モデルが開発され続けている．これにともない，大規模言語モデルの性能をどう評価するかは重要な問題となり，日本国内でも様々な評価ベンチマークが提案された．海外では評価ベンチマークとともに，その評価ベンチマークで複数の大規模言語モデルを評価した結果を載せるリーダーボードも開発されている．また，そのリーダーボードの中ではオープンソースで開発かつ運営され，誰でも大規模言語モデルを直接提出して評価結果を登録できるものも存在している．それに比べ，日本国内にはリーダーボードの数自体が少なく，オープンソースで運営されているものはより少ない．本研究ではオープンソースで公開されている評価ベンチマークのllm-jp-eval[1]を用いて，同じくオープンソースで開発かつ運営されるリーダーボードOpenJapaneseLLMLeaderboard1）を構築した．OpenJapaneseLLMLeaderboardはLLM-jpとHuggingFaceの協力によって構築され，llm-jp-evalv1.4.12）がサポートする11カテゴリーの評価タスクをもってユーザーが提出した大規模言語モデルを評価している．2024年11月20日の稼働以来OpenJapaneseLLMLeaderboardには300以上の評価結果が蓄積され，その評価結果は一般にも公開されている．本稿では，OpenJapaneseLLMLeaderboardの詳細について紹介するとともに，公開されている評価結果を用いて統計分析を行い，そこで得られた日本語大規模言語モデルの評価に対する知見を報告する．