生成系タスクの自動評価においてチェックリストの使用は有効なのか？

生成系タスクにおける大規模言語モデルを用いた自動評価では，評価基準の曖昧さが課題とされている．これに対し，チェックリストにより評価基準を細分化する方法が注目されているが，作成方法の検討はまだ十分でない．本研究では6つの生成手法でチェックリストを作成し，それに基づいて回答を評価，その有効性を3種の評価モデルで検証した．その結果，チェックリスト未使用時と比較して一致率が向上したケースは22.6%に留まり，チェックリストの有効性は限定的であった．一方，項目数制限や付加情報の活用が有効であり，小規模評価モデルでも適切なチェックリストを用いることで大規模モデルと同等の評価を行える可能性が示唆された．