日本語を対象としたLLMの大規模人手評価

大規模言語モデル（LLM）の評価は，LLMによる自動評価が主流となっているが，自動評価には多くの課題が存在し，LLMの評価方法論そのものにおいて決定的な解は未だ得られていない．本研究では，今後のLLM評価に関する研究を支援することを目的として，484件の日本語プロンプトに対する10種類のLLMの応答を対象に，5つの評価項目に基づいた大規模な評価を実施し，その結果を公開する．本稿では，評価項目の設計方法と評価の実施手順を報告するとともに，構築した評価データに基づく予備的な分析として，評価項目間の関連性分析やLLMの性能比較についても触れる．