近年の大規模言語モデルの研究において，様々なモデルの評価結果が一覧できるリーダーボードの重要性が増している．本研究ではLLM-jpとHuggingFaceの協力のもとにオープンソースで開発かつ運営されるOpenJapaneseLLMLeaderboardを構築した．本リーダーボードでは大規模言語モデルの評価フレームワークであるllm-jp-evalを用いて日本語大規模言語モデルの性能を評価し，その結果をリーダーボードとして公開している．本稿ではリーダーボードの詳細を紹介し，さらにこれまでに得られた評価結果を用いた統計分析を行い，日本語大規模言語モデルの評価結果に対する知見を報告する．

ChatGPTの成功から始まった大規模言語モデルの開発は，今では全世界の共通した関心分野となっている．日本も例外でなく，独自に開発されたフルスクラッチのモデルから海外の有名なモデルを日本語に特化させたモデルまで，様々な日本語の大規模言語モデルが開発され続けている．これにともない，大規模言語モデルの性能をどう評価するかは重要な問題となり，日本国内でも様々な評価ベンチマークが提案された．海外では評価ベンチマークとともに，その評価ベンチマークで複数の大規模言語モデルを評価した結果を載せるリーダーボードも開発されている．また，そのリーダーボードの中ではオープンソースで開発かつ運営され，誰でも大規模言語モデルを直接提出して評価結果を登録できるものも存在している．それに比べ，日本国内にはリーダーボードの数自体が少なく，オープンソースで運営されているものはより少ない．本研究ではオープンソースで公開されている評価ベンチマークのllm-jp-eval[1]を用いて，同じくオープンソースで開発かつ運営されるリーダーボードOpenJapaneseLLMLeaderboard1）を構築した．OpenJapaneseLLMLeaderboardはLLM-jpとHuggingFaceの協力によって構築され，llm-jp-evalv1.4.12）がサポートする11カテゴリーの評価タスクをもってユーザーが提出した大規模言語モデルを評価している．2024年11月20日の稼働以来OpenJapaneseLLMLeaderboardには300以上の評価結果が蓄積され，その評価結果は一般にも公開されている．本稿では，OpenJapaneseLLMLeaderboardの詳細について紹介するとともに，公開されている評価結果を用いて統計分析を行い，そこで得られた日本語大規模言語モデルの評価に対する知見を報告する．