論述構造解析技術を用いたニューラル小論文自動採点手法

論理的思考力や表現力が新しい時代に求められる資質として注目される中，そのような能力の評価法の一つとして小論文試験が広く活用されている[1,2,3]．しかし，小論文試験には，採点の公平性担保の困難さや人手採点に伴うコストの増大などの懸念がある[4]．これらの問題を解決する手段の一つとして自動採点技術が近年注目されている[5,6]．既存の小論文自動採点手法は大きく2つに分類できる[6,7]．一つは人手で設計した特徴量を用いる手法であり，文章から抽出した特徴量（総単語数や接続詞数，文法エラー率など）を線形回帰モデルや決定木などの機械学習モデルに入力して得点を予測する[5,8]．二つ目は深層学習を用いる手法であり，入力が小論文の単語系列，出力が得点となる深層学習モデルを構築して自動採点を実現する[6,9]．近年では，BERT（BidirectionalEncoderRepresentationsfromTransformers）[10]などを用いた深層学習自動採点モデルが高精度を達成している[11,12]．従来の深層学習自動採点モデルでは，単語の意味や単語間の関係性は考慮できるが，文章の論理構造は直接的には考慮できない[13,14]．論理構造は小論文の質に関わる本質的な要素の一つであるため，論理構造をモデルに明示的に与えることができれば，更なる自動採点の精度向上が期待できる．このような背景から，Nguyen&Litman[15]は，論理構造を考慮できる小論文自動採点手法を提案している．この手法では，自然言語処理分野において近年高精度化が進む論述構造解析技術（ArgumentMining）[16,17,18,19,20,21]を用いて文章の論理構造を推定し，得られた論理構造から特徴量（論理構造の構成要素数やそれらの要素間のエッジの数，各要素中の単語数など）を抽出して特徴量ベースの自動採点手法を構築している．しかし，実験の結果，論理構造に関する特徴量の追加による自動採点精度の改善は限定的であったことを報告している．この要因としては，論理構造の情報を表層的な特徴量に縮約してしまったため，論理構造の情報を十分に活用できなかったことが考えられる．そこで本研究では，論述構造解析で求めた論理構造を人手で設計した特徴量に変換せずに処理できる深層学習手法を開発し，その手法を組み込んだ新たな深層学習自動採点手法を提案する．具体的には，BERTモデルのSelf-Attention機構を拡張することで，論理構造を考慮できる深層学習モデルを構築し，その処理結果を従来の深層学習自動採点モデルに統合する方法を開発する．さらに，ベンチマークデータを用いた実験を通して提案手法の有効性を示す．