日本語を対象としたLLMの大規模人手評価

近年，自然言語処理の分野では，大規模言語モデル（LargeLanguageModels,以下LLM）の発展が著しい．LLMの品質評価は，LLM-as-a-JudgeをはじめとするLLMによる自動評価が主流となりつつあるが[1,2]，自動評価には多くの課題があることが指摘されている[3,4,5]．例えば，文献[4]では，LLMに基づく自動相対評価において，応答の順序を入れ替えるだけで評価結果が大きく変化することが報告されている．また，文献[3]では，要約タスクにおける自動評価が，使用する評価指標によってLLMの自動評価結果と人間の評価結果の相関が大きく異なることを指摘している．しかし，人手によるLLMの応答評価はコストが高く，自動評価を直ちに中止することは現実的ではない．したがって，LLMの評価の方法論そのものを抜本的に再検討することが喫緊の課題である．そこで本研究では，LLMの応答を人手で評価した大規模なデータセットを構築する．具体的には，484件の日本語プロンプトに対する10種類のLLMの応答を，53名の作業者によって評価したデータセットを作成した．このデータセットは，図1に4.7Overall4.54.03.5RelevanceDetailedness3.0