llm-jp-eval:日本語大規模言語モデルの自動評価ツール

日本語の大規模モデルが次々と発表される中，その自動評価が重要性を増している．本稿では，日本語の大規模言語モデルに対する評価ベンチマークllm-jp-evalを提案する．llm-jp-evalは8カテゴリ，計12個の日本語の自然言語処理の公開評価データを用いて，言語モデルの生成結果を自動的に評価する．評価は全て生成問題に基づくもので，既存の評価データセットにプロンプト形式を適用して自動変換した問題に対する言語モデルの回答を評価する．本稿ではllm-jp-evalを用いて様々な日本語大規模言語モデルを評価した結果を報告し，既存研究の知見に照らして議論する．