生成系タスクの自動評価においてチェックリストの使用は有効なのか？

大規模言語モデル（LLM）は，多肢選択問題のような分類タスクからコーディングのような生成タスクまで，幅広いタスクに対応できる汎用性を備えている．近年ではそうしたLLMが生成する応答の質を評価することが，LLMの開発プロセスにおいて重要な要素となりつつある．分類タスクの評価は，回答と正解の一致度を計算することで比較的容易に行える．一方で，生成タスクの評価は流暢性や一貫性などの評価指標としてペアワイズ評価や5段階評価が行われることが多いが，これらの評価基準は曖昧であり，アノテータ間の相関ですらあまり高くない．ましてや，近年注目されているLLMを用いた自動評価においては，自動評価と人手評価の相関が低い点が課題となっている．この課題に対し，曖昧な評価基準を細分化した「チェックリスト」を評価に導入する研究がある[1,2,3]．ただ，こうした研究のチェックリストの多くはどの要素を含めるべきか（または含めないべきChecklistTypeQuestionQuestion1,2,1,…yes•Baseline•Count•Metric•Detailno1