記述式答案自動採点タスクにおいて，採点基準と合致する採点モデルを構築することは重要な要件であるが，訓練済みのモデルに対して採点基準との整合性を効率的に検証する手段は確立されていない．有力な手法として，モデルの内部動作を可視化できる特徴量帰属法(FeatureAttribution)が存在するが，解答毎に検証を行う必要があるため，多数のデータを使用した上で整合性を証明することは困難だった．本研究では，クラスタリングアルゴリズムを特徴量帰属法で求めた説明系列に適用することで，少ない労力で採点モデルと採点基準間の整合性検証を可能にした．

記述式答案自動採点(ShortAnswerScoring)とは，ある問題に対して解答された数十文字程度の答案を自動で採点するタスクである[1]．機械学習モデルで解ける形式に落とし込む場合，採点結果を目的変数に設定し，答案の文章を説明変数とする回帰問題として扱い，問題文や採点基準（ルーブリック）は補助的な特徴量として扱うのが一般的である[2]．しかしながら，本来の採点過程では採点基準との合致が求められる．ゆえに，採点基準に沿った答案箇所が主な得点源となり，モデルが利用する特徴量となることが求められるが，現状の多くの取り組みでは答案の文章が主たる入力であり，学習の過程で使用する特徴量が決定されるため，基準に沿った採点をモデルが行うことを保証することはできない．たとえ，補助的な特徴量として採点基準を導入しても，機械学習モデルが利用するかは学習によって決定されるため，正確な保証になるわけではない．この不安定性の問題に対応する手段として，特徴量帰属法(FeatureAttribution)の活用が考えられる．主に説明可能なAI(XAI)分野において扱われ，出力に対する入力特徴量の寄与度をモデルを使用して計算する手法群の総称である．モデルが使用した特徴量を根拠箇所としてヒートマップの形式で可視化することが可能であり，モデルの動作や判断の手がかりを得るための手法として定評がある[3]．しかしながら，特徴量帰属法は答案毎にベクトルの形式で寄与度を計算するため，自然言語で記述された採点基準とは形式が異なり，単純な自動化は難しい．また，可能な限り多くの答案で検証できることが望ましいが，訓練に使用する答案の数は最低でも数百・数千に及ぶため，全ての答案に対する検証を行うことは困難である．本研究では，特徴量帰属法を使用した採点基準との整合性検証が抱える実務上の問題点を解消するために，スペクトラルクラスタリング[4]を使用したクラスタ分析による整合性検証ツールの開発を行った．そして，考案した手続きの有効性を示すため，採点基準を含むデータセット上で動作確認を行い，少ない労力で訓練済みの機械学習モデルと採点基準間の整合性検証が可能であることを確認した．