文法項目の多様性と誤り情報を利用したエッセイ自動採点

エッセイ自動採点(AES)は，学習者が書いたエッセイにスコアやレベル等の評価値を付与するタスクである.外国語教育においては，近年のライティングやスピーキングといった産出能力の育成も重視する流れを受けて，エッセイ課題が用いられる場面も増えている.しかし，エッセイの採点には，大きな人的・時間的コストがかかる.採点自体に時間がかかることに加えて，複数の採点者間での評価の信頼性を保つためには，採点者の訓練が必要である.また，採点者が1名であっても，疲労などから同一のエッセイに異なる評価をする場合があることが報告されている.このような課題を背景に，自動採点研究が行われている.エッセイ課題の採点方法は，エッセイに対して1つのスコアを付与する総合的評価と，文法や内容等の複数の観点に対してそれぞれスコアを付与する分析的評価に大別される.ただし，総合的評価においても，分析的評価で用いられる観点での出来栄えが基準となっていることが一般的である.それらの観点の中で，土肥ら[1]は，CEFRの基準特性研究[2]を参考に，総合スコアを推定するAESモデルに文法特徴を明示的に利用する手法を提案した.具体的には，BERT[3]により得られるエッセイの分散表現に，文法誤りの情報，または学習者が正しく使えている文法項目の情報を結合したものを全結合層への入力とし，エッセイの総合スコアを推定した.[1]では文法誤りの数をエッセイの分散表現を入力として推定していたが，その推定精度に課題があった.また，正しく使えている文法項目の情報は，モデル性能の向上につながらなかった.そこで本研究では，文法誤り訂正モデル[4]の訂正結果に基づく文法誤り数を特徴量として用いる.[1]で正しく使えている文法項目の情報の効果がなかった原因としては，(1)エッセイの分散表現（768次元）に対して特徴量の次元数（最大で25次元）が小さかったこと，(2)実験に使用したデータセットは複数のエッセイ課題に基づく答案が含まれており，使用される文法項目が学習者の習熟度よりも，エッセイ課題の影響を強く受けていたことが可能性として挙げられる.そこで本研究では，256次元の新たな特徴量を用い，AutomatedStudentAssessmentPrize(ASAP)1）を実験に用いる.特徴量とデータセットの詳細については，それぞれ3節，4.1節で述べる.