推論過程の忠実性を担保した大規模言語モデルによる自動評価手法開発への取り組み

近年，大規模言語モデル（LLM）を用いた生成文の自動評価は，人手コスト削減と従来の統計的な指標よりも内容に即した評価が可能な点で注目されている．本研究は，評価理由と結果の整合性（推論忠実性）を崩さずに評価性能を確保する自動評価手法構築を目的に，二段階学習を提案する．学習段階Iで理由生成と理由に基づく推論形式を学習し，学習段階IIで人評価に近い推論過程を選抜して理由生成を重点的に学習する．実験より，推論忠実性向上の可能性を示す一方，評価精度との両立が課題であることが分かった．