JGLUEデータを用いた模範解答との差異に基づく汎用採点モデルの構築

近年、教育現場の過大な負担が社会問題として認知され、自然言語処理モデルを活用した採点業務の自動化が模索されている。採点タスクに関する研究としては、手書き文字認識と自然言語処理を組み合わせることで短答式記述問題を完全自動採点した岡らの研究[1]、自動採点結果に説明性や整合性を持たせた佐藤ら、浅妻らの研究[3][4]、暗黙的な表現を明示的な表現に変換することで結果が改善することを示したBexteらの研究[5]など様々なものがあるが、これらは全て設問ごとにモデルを作成して採点を行っている。その場合、各設問ごとに大量の学習データが必要になるため、活用場面は大規模テストなどに限られ、学校現場での導入が難しいという課題がある。モデルの学習に使用した設問と異なる設問を採点する試みとしては、1つの模範解答と他設問の答案をもとにOne-shotlearningを実施した江島らの研究[6]が挙げられるが、これは小論文の採点に適用したものであり、文字数の多い設問では精度が悪かったことが報告されている。また、小論文の正解は1通りではないため、模範解答と異なる解答に対応することが難しいという課題も考えられる。本研究では短答式記述問題を題材に、BERT[7]をベースとして模範解答との差異に基づく汎用採点モデルを構築した。短答式記述問題は明示的な正解が定まっている場合が多く、模範解答との差異に基づく採点が有効であると考えられる。さらに、模範解答との差異を出力するタスクが文ペア分類タスクに類似していることに着目し、JGLUE:日本語理解ベンチマーク[2]のコーパスに含まれる文ペアを使って学習を行うことで、学校現場で用意できる学習データの不足を補いモデルの性能を底上げすることを狙った。