学習者回答予測モデルからの設問の正答者数予測分布推定

学習支援システムにおいて，学習者が項目に回答できるかどうかを予測する事は，学習者に合った水準の項目（設問）の提示など，適応的学習支援を行うための基本的なタスクである．学習者が項目に回答した履歴のデータがあれば，教育心理学などで能力や難しさのモデル化に多用される項目反応理論(ItemResponseTheory，以下IRT)[1]を用いることで，学習者の能力と項目の難しさを推定し，学習者の反応予測を行う事ができる．しかし，IRTに基づくモデルは通常，学習者の回答パターンにのみ依存し，項目（設問）が自然文で書かれていても文意を理解しない．自然言語処理においては，近年，Transformerモデルに代表される深層言語モデルが自然文理解で高い性能を示している[2]ため，設問文の理解に，これらの深層言語モデルを用いたい．しかし，これらの言語モデルは，通常，言語のみをモデル化するため，学習者ごとに異なった判定を行うことができず，学習者反応の予測に用いることが難しい問題があった．この問題に対し，筆者は，設問文を考慮した学習者反応の予測問題に適用する簡便な方法を提案した[3]．この手法では，事前学習済の深層言語モデルBidirectionalEncoderRepresentationofTranformers(BERT)[2]に，学習者IDを表す語を新語として追加し，設問文の文頭に学習者IDを表す語を置くことで，「この学習者IDの被験者が次の設問文で表される問題に正答できるか否か」を予測するように，テスト結果データセット上で，微調整(ﬁne-tune)している．この手法は，自然文で記述されている設問に対して，複数の学習者が正答/誤答が明瞭にわかる形式（多肢選択式など）で回答する試験結果データであれば，幅広く適用することが原理的に可能であるため，汎用性が高い．教育の目的では，さらに，予測だけでなく，設問の難しさ（困難度）や，設問が良問である度合い（識別力）も微調整済モデルから取得したい．こうした設問に関する値を既に学習者の回答がわかっている設定で取得できる統計的手法としては，項目反応理論（ItemResponseTheory,IRT）の2パラメータモデルが知られている．しかし，一部の学習者の回答結果が不明であり予測しなければならない設定で，予測性能が高いだけでなく，さらに，こうした設問文の解釈に重要な値を深層言語モデルから取得する手法はわかっていなかった．本稿では，微調整済のBERTによる学習者回答予測モデルで，高い予測精度を持ったうえ，設問の難しさなど教育上重要な情報を取得できる正答者数分布を推定する手法を提案する．提案手法から抽出した設問の性質は，評価データ中の学習者の回答を与えた設定でIRTを用いて推定した設問の困難度・識別力と統計的有意に相関した．提案手法により，高い予測性能に加え，IRTのような高い解釈性を持つ微調整済BERTを構築できることが示された．