生成系タスクにおける大規模言語モデルを用いた自動評価では，評価基準の曖昧さが課題とされている．これに対し，チェックリストにより評価基準を細分化する方法が注目されているが，作成方法の検討はまだ十分でない．本研究では6つの生成手法でチェックリストを作成し，それに基づいて回答を評価，その有効性を3種の評価モデルで検証した．その結果，チェックリスト未使用時と比較して一致率が向上したケースは22.6%に留まり，チェックリストの有効性は限定的であった．一方，項目数制限や付加情報の活用が有効であり，小規模評価モデルでも適切なチェックリストを用いることで大規模モデルと同等の評価を行える可能性が示唆された．

大規模言語モデル（LLM）は，多肢選択問題のような分類タスクからコーディングのような生成タスクまで，幅広いタスクに対応できる汎用性を備えている．近年ではそうしたLLMが生成する応答の質を評価することが，LLMの開発プロセスにおいて重要な要素となりつつある．分類タスクの評価は，回答と正解の一致度を計算することで比較的容易に行える．一方で，生成タスクの評価は流暢性や一貫性などの評価指標としてペアワイズ評価や5段階評価が行われることが多いが，これらの評価基準は曖昧であり，アノテータ間の相関ですらあまり高くない．ましてや，近年注目されているLLMを用いた自動評価においては，自動評価と人手評価の相関が低い点が課題となっている．この課題に対し，曖昧な評価基準を細分化した「チェックリスト」を評価に導入する研究がある[1,2,3]．ただ，こうした研究のチェックリストの多くはどの要素を含めるべきか（または含めないべきChecklistTypeQuestionQuestion1,2,1,…yes•Baseline•Count•Metric•Detailno1