近年，大規模言語モデル(LLM)による応答の自動評価をLLMにより行う手法，LLM-as-a-Judgeが広く使用されている．日本語でも複数のLLM-as-a-Judgeベンチマークが開発されている．本論文では，LLMの多面的な分析を容易にするためLLM-as-a-Judge評価を統一的に扱うことができるツール“llm-jp-judge”を提案する．現時点では，独自のプロンプトを用いた生成品質評価，MT-Benchによるマルチターン対話評価，応答の安全性評価に対応している．また，提案ツールによる評価の妥当性を検証するためのメタ評価を行い，評価結果の信頼性や有用性について議論する．本ツールはオープンソース1）として公開しており，誰でも利用可能である2）．

大規模言語モデル(LLM)の登場により，深層学習モデルによる文章生成品質は著しく向上した．現在，LLMの研究開発は非常に活発に行われており，新しいモデルが日々公開されている．そのため，ユーザーは多くの選択肢から適切なモデルを選択することが可能である．この傾向は日本語を対象としたLLMにおいても例外ではなく，多様なモデルが提供されている．近年，LLMによりLLMの応答を自動評価する手法，いわゆるLLM-as-a-Judge[1]が注目されている．LLMの高い生成能力から，さまざまな応用が考えられるが，人間とのインタラクションが発生するようなタスクにおいては，人間による嗜好がその評価において重要である．しかし，Zhengら[1]は，従来のLLMベンチマークであるMMLU[2]やHELM[3]が，人間の好みに基づき調整されたLLMと元のLLMとの違いを適切に評価できないことを指摘し1）ライセンスにはApacheLicense2.0を採用している．2）GitHub:https://github.com/llm-jp/llm-jp-judgeている．人間による嗜好を正確に測定するためには人手による評価が理想であるが，そのコストは非常に高く，特にモデル開発の初期段階においては現実的ではない．このような背景から，LLMを用いた評価の代替可能性が広く研究されている．本研究では，日本語に対応したLLMを対象とし，LLM-as-a-Judgeによる自動評価を統一的に実施できるツール“llm-jp-judge”を提案する．この提案の背景には，日本語におけるLLM-as-a-Judgeベンチマークが独立しており，多面的な評価が困難であるという課題が存在する．本ツールは，現時点では独自のプロンプトを用いた応答の品質評価やMT-Bench[1]を用いた多ターン対話評価に加え，応答の安全性に関する自動評価[4]を統合している．これにより，LLMの応答の多角的かつ包括的な自動評価が可能となる．さらに，本研究では，10から12モデルの応答を人手により評価したデータを用いて，提案ツールによる評価の妥当性を検証するためのメタ評価を行う．MT-BenchはZhengら[1]により検証されていることから，本研究では、独自プロンプトによる品質評価と安全性評価を対象とした検証を行う．この過程を通じて，本ツールが提供する評価結果の信頼性や有用性について議論する．本論文の貢献は以下のとおりである．•日本語LLM-as-a-Judge評価を統一的に行うことのできるツールllm-jp-judgeを提案し，オープンソースとして公開した．•人手ラベルによるメタ評価を行い，llm-jp-judgeによる評価の妥当性を示した．