大規模言語モデルが持つ選好情報と少数正解事例の統合による絶対評価較正を用いた複数観点同時小論文自動採点

小論文自動採点（AutomatedEssayScoring：AES）は，小論文の採点を機械学習を用いて自動化するタスクである．AESは採点にかかるコストの削減や公平性を担保する技術の一つとして近年注目されている[1]．AES研究の多くは，教師あり問題固有型と問題横断型のタスクを対象としている[2]．教師あり問題固有型手法では，採点対象の小論文問題の採点済み答案を用いて深層学習モデル等の機械学習モデルを学習し，同じ小論文問題に対して採点を行う．一方で，問題横断型手法は，採点対象の問題に対しては十分な量の答案が得られていないもしくは存在しないが，それ以外の問題に対しては十分な量の採点済み小論文が得られている状況を仮定し，ドメイン適応やドメイン汎化等の技術を用いて採点対象の問題に対する採点モデルの構築を目指す．一方で，近年の大規模言語モデル（LargeLanguageModel：LLM）の言語理解能力や推論能力を活用して，教師データを用いずにゼロショットで小論文採点を行う手法がいくつか提案されている[3,4,5,6]．例えば，柴田・宮村[3]は，多数の小論文ペアの優劣をLLMに比較させ，そのペアワイズ選好データをBradley–Terryモデルに基づく出力層を持つ深層ニューラルネットワークで統合し，各小論文の得点を算出するLLMComparativeEssayScoring(LCES)を提案している．しかし，このLLMを用いたペアワイズ比較に基づくアプローチは有望である一方，次のような課題が残る．(1)ペアワイズ選好データにより推定される得点は相対尺度に留まり，ルーブリックに基づく絶対的な得点スケールを推定することができない．(2)単一の観点に関する採点しか行えず，評価観点ごとの得点（フィードバック）が得られないため，採点結果の解釈性が低い．(3)ペアワイズ比較時におけるLLMの位置バイアスに対応するために，順番を入れ替えて合計2回，同じ小論文ペアに対して問い合わせを行っており計算コストが高い．そこで本研究では，これらの課題を解決するため，LCESを拡張した手法を提案する．提案手法は，複数観点採点モデルを共通潜在表現に基づくマルチタスク学習モデルとして定式化する．この枠組みの中で，LLMのペアワイズ選好データからの学習と少数の採点済みデータによる絶対評価較正とを，位置バイアスを抑制しつつ統合的に実行する．提案手法は，複数観点小論文採点において一般的なASAP，ASAP++データセットを用いて，得点予測精度の評価実験を行う．実験により，提案手法は，従来の手法と比較して高い得点予測精度を達成することを示す．