本研究は、採点根拠の指標として利用できるAttention層に着目し、自動採点モデルの採点方針を探り、解答文の特徴を分析することを目指す。提案手法として、解答文のクラスタリング・Attention層の出力ベクトルのクラスタリングを通して、採点者・自動採点モデルの採点方針を可視化した。その後、クラスタリング結果と採点結果をもとに、採点者・自動採点モデルから見た解答文の特徴分析を行った。具体的には、頻出単語の統計、Attentionの重みとSHAP値の統計、スピアマンの順位相関係数を用いて解答文の特徴分析を行った。その結果、解答文の特徴として、高得点の解答文は問題の話題に関連した単語を多く含み、低得点の解答文は抽象的な単語を多く含むことが分かった。また、採点者・自動採点モデルが具体性、語彙、単語のスペルに注目して採点をしていることが、単語で明らかにすることができた。

教育現場での英語や国語の筆記試験において、記述式問題という出題形式がある。記述式問題は、プロンプト(問題、主題、トピック)に対して、1、2文程度の短文や、長い小論文で解答する形式である。通常、この形式の問題の解答文を採点するときは、採点基準がいくつか存在する。記述式問題を採点するときの問題点として挙げられるのが、一問一答や選択肢問題と比べると採点する項目が多く、時間的コストが高い点である。そこで、自然言語処理を用いた自動採点技術の研究が行われている。自動採点の理想は、日常教育に使用でき、解答者が納得する自動採点である。この理想を目指すための課題は、採点根拠の説明が必要なことである。具体的には、与えられた解答文に対し、自動採点モデルがなぜこの点数を付けたのか明らかにする必要がある、ということである[1]。採点者が個人で採点方針を持つように、自動採点モデルも何らかの採点方針を持っている。課題の解決策として、自動採点モデルが採点項目ごとに点数を予測すること、アノテーションを用いること、フィードバック文の生成が先行研究で挙げられている[2][3]。自動採点モデルは、通常ブラックボックス化されており、モデル内でどんな予測を行っているか分からない。そのため、採点根拠を説明するためには、まずはモデル内の予測過程を何らかの形で示し、自動採点モデルの採点方針を探る必要がある。本研究では、採点根拠の指標として利用できるAttention層に着目し、自動採点モデルの採点方針を探り、解答文の特徴を分析することを目的とする。