オープン日本語LLMリーダーボードの構築と評価結果の分析

近年の大規模言語モデルの研究において，様々なモデルの評価結果が一覧できるリーダーボードの重要性が増している．本研究ではLLM-jpとHuggingFaceの協力のもとにオープンソースで開発かつ運営されるOpenJapaneseLLMLeaderboardを構築した．本リーダーボードでは大規模言語モデルの評価フレームワークであるllm-jp-evalを用いて日本語大規模言語モデルの性能を評価し，その結果をリーダーボードとして公開している．本稿ではリーダーボードの詳細を紹介し，さらにこれまでに得られた評価結果を用いた統計分析を行い，日本語大規模言語モデルの評価結果に対する知見を報告する．