自動アノテーションを導入したG-Evalによる英文要約課題評価

教育現場において，採点作業は多くの場合，教師が手作業で行うため，多大な時間と労力を要する．本研究では要約の評価を対象に，その自動化に取り組む．従来の要約の自動評価では，語彙や文法などの表層的な要素に焦点が当てられる傾向があり，要約の内容に関する評価は十分に行われていない[1]．本研究は要約内の重要な概念や要点を明確化し，採点基準に基づいて内容を評価する手法を提案する．近年，LLMが思考過程を生成しながら問題を解決するChain-of-Thought(CoT)[2]を取り入れて自動評価の質を向上させる手法が注目されている．Yangらは，LLM自身が採点基準を詳細な採点ステップに展開する自動CoTを導入し，人間の採点により近い評価が可能なG-Eval[3]を提案している．本研究ではG-Evalを拡張し，自動CoTでの採点ステップ生成時に要約内の重要な概念や要点を特定するタグを定義させ，採点ステップ実行時にそのタグを用いたアノテーションを併用することで，採点基準をより的確に反映した自動評価手法を提案する．