大規模言語モデルが持つ選好情報と少数正解事例の統合による絶対評価較正を用いた複数観点同時小論文自動採点

近年，大規模言語モデル（LLM）を用いた小論文自動採点手法が多数提案されている．特に小論文答案間のペアワイズ比較に基づいて得点を算出する従来手法は高精度である一方，推定された得点が相対評価に留まり，ルーブリックに基づく絶対評価得点の算出が困難であるという課題がある．また，従来手法は単一観点の評価に限られるため，結果の解釈性にも課題が残る．そこで本研究では，LLMの選好データに基づく学習と，少数の正解事例を用いた学習とを統合し，絶対評価得点への較正と複数観点採点を同時に実現する手法を提案する．