推論過程の忠実性を担保した大規模言語モデルによる自動評価手法開発への取り組み

生成AIの普及に伴い生成文が増加・多様化する中，生成文評価の重要性が高まっている．従来はBLEU[1]やROUGE[2]など参照文との一致度に基づく指標が用いられてきたが，多様な内容を十分に捉えられない場合がある．そこでLLMに評価を行わせる自動評価が注目されている[3,4,5]．LLMによる自動評価は，人手コストを要さず，従来指標より人手評価に近いと報告されている[3]．一方でHuら[6]は，LLMが観点別評価において他観点を誤って考慮し，これが評価精度に悪影響を及ぼしている可能性を指摘している．この問題を解決し，人間が納得できる信頼性を確保して評価精度を改善するためには，評価理由と最終評価結果が一貫していることが前提となる．そのため，評価理由に基づく一貫した評価，すなわち推論過程と評価結果の忠実性の担保は重要課題である．また，生成文の種類が多様化する中で，適切な観点選択と観点ごとの理由・採点の整合的生成を学習することは，特定タスクに特化した評価器ではなく，未知タスクへの汎用化を見据えた基盤能力として重要である．そこで本研究では，観点選択を含む文章評価において，評価理由と結果の忠実性を重視した推論過程を学習する枠組みを提案する．要約および対話生成の評価データで実験し，推論忠実性を維持しつつ評価精度を確保するための設計上の知見を示す．