自動採点モデルにおけるAttention層に着目した採点根拠の分析

本研究は、採点根拠の指標として利用できるAttention層に着目し、自動採点モデルの採点方針を探り、解答文の特徴を分析することを目指す。提案手法として、解答文のクラスタリング・Attention層の出力ベクトルのクラスタリングを通して、採点者・自動採点モデルの採点方針を可視化した。その後、クラスタリング結果と採点結果をもとに、採点者・自動採点モデルから見た解答文の特徴分析を行った。具体的には、頻出単語の統計、Attentionの重みとSHAP値の統計、スピアマンの順位相関係数を用いて解答文の特徴分析を行った。その結果、解答文の特徴として、高得点の解答文は問題の話題に関連した単語を多く含み、低得点の解答文は抽象的な単語を多く含むことが分かった。また、採点者・自動採点モデルが具体性、語彙、単語のスペルに注目して採点をしていることが、単語で明らかにすることができた。