llm-jp-eval:日本語大規模言語モデルの自動評価ツール

ChatGPTをはじめとする大規模言語モデルの成功は全世界に大きな影響をもたらした．日本も例外でなく，様々な日本語の大規模言語モデルが発表され続けている．これにともない，大規模言語モデルの性能評価が重要性を増している．海外では大規模言語モデルが発表される際に，テクニカルレポートで既存の評価データセットを網羅した評価結果を報告する傾向が見られる．1）またBig-Bench[1]をはじめとする，大規模言語モデルの能力を測るためのベンチマークも充実している．それに比べ，日本語ではJGLUE[2]が構築されているとはいえ，他の大規模言語モデルに対する評価ベンチマークは少ない．∗第2著者以降は姓名の五十音順1）GPT-4のテクニカルレポートが良い例である：https://cdn.openai.com/papers/gpt-4.pdf本研究では，既存研究で提案されている12個の日本語の評価データセットを用いて大規模言語モデルの性能を評価するベンチマークllm-jp-evalを提案する．llm-jp-evalは，既存の評価データセットにプロンプト形式を適用することで全ての問題を生成問題に変換し，言語モデルが生成した回答に基づき評価を行う．llm-jp-evalを用いた評価を公開大規模モデルに適用した結果，パラメータの数と日本語の継続学習が評価スコアに影響を与えることを確認できた．llm-jp-evalはApacheLicense2.0のもとオープンソースのソフトウェアとして公開されている．2）