日本語の大規模モデルが次々と発表される中，その自動評価が重要性を増している．本稿では，日本語の大規模言語モデルに対する評価ベンチマークllm-jp-evalを提案する．llm-jp-evalは8カテゴリ，計12個の日本語の自然言語処理の公開評価データを用いて，言語モデルの生成結果を自動的に評価する．評価は全て生成問題に基づくもので，既存の評価データセットにプロンプト形式を適用して自動変換した問題に対する言語モデルの回答を評価する．本稿ではllm-jp-evalを用いて様々な日本語大規模言語モデルを評価した結果を報告し，既存研究の知見に照らして議論する．

ChatGPTをはじめとする大規模言語モデルの成功は全世界に大きな影響をもたらした．日本も例外でなく，様々な日本語の大規模言語モデルが発表され続けている．これにともない，大規模言語モデルの性能評価が重要性を増している．海外では大規模言語モデルが発表される際に，テクニカルレポートで既存の評価データセットを網羅した評価結果を報告する傾向が見られる．1）またBig-Bench[1]をはじめとする，大規模言語モデルの能力を測るためのベンチマークも充実している．それに比べ，日本語ではJGLUE[2]が構築されているとはいえ，他の大規模言語モデルに対する評価ベンチマークは少ない．∗第2著者以降は姓名の五十音順1）GPT-4のテクニカルレポートが良い例である：https://cdn.openai.com/papers/gpt-4.pdf本研究では，既存研究で提案されている12個の日本語の評価データセットを用いて大規模言語モデルの性能を評価するベンチマークllm-jp-evalを提案する．llm-jp-evalは，既存の評価データセットにプロンプト形式を適用することで全ての問題を生成問題に変換し，言語モデルが生成した回答に基づき評価を行う．llm-jp-evalを用いた評価を公開大規模モデルに適用した結果，パラメータの数と日本語の継続学習が評価スコアに影響を与えることを確認できた．llm-jp-evalはApacheLicense2.0のもとオープンソースのソフトウェアとして公開されている．2）