多次元項目反応理論と深層学習に基づく複数観点同時自動採点手法の精度改善

近年，小論文試験の採点をコンピュータを用いて自動化する小論文自動採点（AutomatedEssayScoring；AES）手法が多数提案されている．自動採点を実現する手法は特徴量ベースと深層学習ベースの手法に大別される．これまでは，特徴量ベースの手法が一般的であったが（e.g.,[1–3]），近年では深層学習を用いた自動採点モデルが多数提案されている（e.g.,[4–16]）．深層学習自動採点モデルは文章の単語系列を入力として，データから自動で複雑な特徴量を学習でき，高精度を達成している．従来の自動採点モデルの多くは，全体得点のみを予測する採点場面を想定している（e.g.,[5–12]）．しかし，学習評価場面などで小論文試験を運用する場合，より詳細なフィードバックを受検者に行うために，論理構成力や文章表現力などの評価観点別の得点付けを行いたい場面も少なくない[13]．そこで，複数の評価観点に対応する得点を同時に予測できるモデルが近年提案されている（e.g.,[13–16]）．現時点では，Ridleyら[16]の複数観点自動採点モデルが最高精度を達成しているが，このモデルには解釈性の観点から次のような問題がある．(1)評価観点ごとに複雑な多層ニューラルネットワークを持つため予測根拠を解釈することが難しい．(2)一般に評価観点は，背後に測定したい能力尺度を想定し，それを測定できるように設計されるが[17]，このモデルでは複数評価観点の背後に想定される能力尺度を解釈することができない．これらの問題を解決するために，Shibata&Uto[18,19]は，項目反応理論を利用した手法を提案している．具体的には，評価観点の特性を考慮した多次元項目反応モデル[20]を出力層とし，それ以外をRidleyらのモデルを元にした評価観点共通のニューラルネットワークとしたモデルを開発している．この手法の利点は以下の通りである．(1)評価観点固有の出力層は，識別力と困難度と呼ばれる項目反応理論で一般的な2種類のパラメータのみで説明されるため，それらのパラメータ値に基づいて観点ごとの特性を定量的に解釈できる．(2)多次元項目反応モデル層の能力次元数を最適化してパラメータを分析することで，複数評価観点の背後に想定される能力尺度を解釈できる．このモデルは上記の点において解釈性を向上させることに成功したが，僅かにRidleyらの手法と比較してモデルの予測精度が低下することがわかっている．この原因を調査するために評価観点別の精度評価実験を行ったところ，特に全体得点の予測精度が低いことがわかった．そこで本研究ではShibata&Utoの手法において，全体得点の予測精度を改善する手法を提案する．