一般性を考慮した言語処理モデルのShortcutReasoningの自動検出

近年，事前学習モデルをはじめとした自然言語処理モデルがあらゆるタスクで精度の向上を見せている．一方で，学習データ内の交絡あるいは疑似相関(SpuriousFeatures)[1,2,3]にモデルが依存することで発生する，推論プロセスにおける非合理的な推論(ShortcutReasoning)が指摘されている[4,5,6]．ShortcutReasoningは，学習データと同じ分布を持つデータ(IndependentandIdenticallyDistributed:IID)と比べて，異なる分布を持つデータ(OutofDistribution:OOD)の解析性能を下げる，すなわち頑健性を低下させることが懸念されている．ShortcutReasoningを発見・解消させようとする試みは既に行われているが[7,8,9]，そこで提案された手法は，(i)ShortcutReasoningの形態について事前に想定している，(ii)モデルの内部情報を考慮していない，(iii)人手による判定を必要としているという制約を持っている．(i)は事前に想定したShortcutReasoningに対してのみ検証をするため，モデルに潜在する未知のものを明らかにできない可能性がある．(ii)については，内部情報を使わない手法の多くが何らかの編集や特徴を加えた入力を作成し，それに対する出力を分析することで，ShortcutReasoningの存在を明らかにしようとしているが，この手法によって我々が知り得るのはモデルの出力のみであり，得られる情報には限度がある．(iii)に関しては，単純にコストがかかるのに加え，一見ShortcutReasoningに見えないような事例を見逃す可能性がある等の課題を抱えている．以上の3つの課題の解決に取り組んだ研究[10]はいまだ少数であり，十分な研究成果が得られていないのが現状である．本論文は，最小限の仮定で，内部情報を利用しながら，人手での判定を必要とせずに自動的にShortcutReasoningを検出する手法を提案する．具体的には，モデルの推論プロセスにおける規則性(推論パターン)を抽出し，IIDとOODの入力に対する有効性を比較することで，ShortcutReasoningの存在とその形態を明らかにする．