自動採点モデルにおけるAttention層に着目した採点根拠の分析

教育現場での英語や国語の筆記試験において、記述式問題という出題形式がある。記述式問題は、プロンプト(問題、主題、トピック)に対して、1、2文程度の短文や、長い小論文で解答する形式である。通常、この形式の問題の解答文を採点するときは、採点基準がいくつか存在する。記述式問題を採点するときの問題点として挙げられるのが、一問一答や選択肢問題と比べると採点する項目が多く、時間的コストが高い点である。そこで、自然言語処理を用いた自動採点技術の研究が行われている。自動採点の理想は、日常教育に使用でき、解答者が納得する自動採点である。この理想を目指すための課題は、採点根拠の説明が必要なことである。具体的には、与えられた解答文に対し、自動採点モデルがなぜこの点数を付けたのか明らかにする必要がある、ということである[1]。採点者が個人で採点方針を持つように、自動採点モデルも何らかの採点方針を持っている。課題の解決策として、自動採点モデルが採点項目ごとに点数を予測すること、アノテーションを用いること、フィードバック文の生成が先行研究で挙げられている[2][3]。自動採点モデルは、通常ブラックボックス化されており、モデル内でどんな予測を行っているか分からない。そのため、採点根拠を説明するためには、まずはモデル内の予測過程を何らかの形で示し、自動採点モデルの採点方針を探る必要がある。本研究では、採点根拠の指標として利用できるAttention層に着目し、自動採点モデルの採点方針を探り、解答文の特徴を分析することを目的とする。