記述式答案採点モデルの採点基準に対する整合性の検証

記述式答案自動採点(ShortAnswerScoring)とは，ある問題に対して解答された数十文字程度の答案を自動で採点するタスクである[1]．機械学習モデルで解ける形式に落とし込む場合，採点結果を目的変数に設定し，答案の文章を説明変数とする回帰問題として扱い，問題文や採点基準（ルーブリック）は補助的な特徴量として扱うのが一般的である[2]．しかしながら，本来の採点過程では採点基準との合致が求められる．ゆえに，採点基準に沿った答案箇所が主な得点源となり，モデルが利用する特徴量となることが求められるが，現状の多くの取り組みでは答案の文章が主たる入力であり，学習の過程で使用する特徴量が決定されるため，基準に沿った採点をモデルが行うことを保証することはできない．たとえ，補助的な特徴量として採点基準を導入しても，機械学習モデルが利用するかは学習によって決定されるため，正確な保証になるわけではない．この不安定性の問題に対応する手段として，特徴量帰属法(FeatureAttribution)の活用が考えられる．主に説明可能なAI(XAI)分野において扱われ，出力に対する入力特徴量の寄与度をモデルを使用して計算する手法群の総称である．モデルが使用した特徴量を根拠箇所としてヒートマップの形式で可視化することが可能であり，モデルの動作や判断の手がかりを得るための手法として定評がある[3]．しかしながら，特徴量帰属法は答案毎にベクトルの形式で寄与度を計算するため，自然言語で記述された採点基準とは形式が異なり，単純な自動化は難しい．また，可能な限り多くの答案で検証できることが望ましいが，訓練に使用する答案の数は最低でも数百・数千に及ぶため，全ての答案に対する検証を行うことは困難である．本研究では，特徴量帰属法を使用した採点基準との整合性検証が抱える実務上の問題点を解消するために，スペクトラルクラスタリング[4]を使用したクラスタ分析による整合性検証ツールの開発を行った．そして，考案した手続きの有効性を示すため，採点基準を含むデータセット上で動作確認を行い，少ない労力で訓練済みの機械学習モデルと採点基準間の整合性検証が可能であることを確認した．