大規模言語モデル（LLM）の評価は，LLMによる自動評価が主流となっているが，自動評価には多くの課題が存在し，LLMの評価方法論そのものにおいて決定的な解は未だ得られていない．本研究では，今後のLLM評価に関する研究を支援することを目的として，484件の日本語プロンプトに対する10種類のLLMの応答を対象に，5つの評価項目に基づいた大規模な評価を実施し，その結果を公開する．本稿では，評価項目の設計方法と評価の実施手順を報告するとともに，構築した評価データに基づく予備的な分析として，評価項目間の関連性分析やLLMの性能比較についても触れる．

近年，自然言語処理の分野では，大規模言語モデル（LargeLanguageModels,以下LLM）の発展が著しい．LLMの品質評価は，LLM-as-a-JudgeをはじめとするLLMによる自動評価が主流となりつつあるが[1,2]，自動評価には多くの課題があることが指摘されている[3,4,5]．例えば，文献[4]では，LLMに基づく自動相対評価において，応答の順序を入れ替えるだけで評価結果が大きく変化することが報告されている．また，文献[3]では，要約タスクにおける自動評価が，使用する評価指標によってLLMの自動評価結果と人間の評価結果の相関が大きく異なることを指摘している．しかし，人手によるLLMの応答評価はコストが高く，自動評価を直ちに中止することは現実的ではない．したがって，LLMの評価の方法論そのものを抜本的に再検討することが喫緊の課題である．そこで本研究では，LLMの応答を人手で評価した大規模なデータセットを構築する．具体的には，484件の日本語プロンプトに対する10種類のLLMの応答を，53名の作業者によって評価したデータセットを作成した．このデータセットは，図1に4.7Overall4.54.03.5RelevanceDetailedness3.0