IntegratedGradientsにおける理想の積分ステップ数はインスタンス毎に異なる

特徴量帰属法[1]とは、機械学習モデルが出力に寄与した特徴量を明らかにする方法であり、ブラックボックスである機械学習モデルの挙動を説明・分析することを目的に使用されている。特に特徴量帰属法の一種であるIntegratedGradients(IG)[2]は、その数学的性質と低い計算コストから、画像処理分野[3,4]や言語処理分野[5,6,7]で使用されている。IGの持つ数学的性質の中でも重要視されるのが完全性(Completeness)[2]である。特徴量の重要度である寄与度の加法性を保証する公理であり、寄与値を用いた演算や比較等の分析結果に正当性を担保する上で必要となる。一方で、IGの計算では勾配の数値積分を使用するため、計算誤差が発生し得る。この計算誤差は加法性の破綻を引き起こすが、現在まで誤差に関する分析は報告されていない。また、計算誤差を低減するためには、数値積分の精度を決定する積分ステップ数：既存研究ではステップ数が全インスタンスに対して任意の値で静的に固定される。ステップ数モデル文献50CNN[9][10]50,250DistilBERT、RoBERTa、BERT[7]10,30,100,300DistilBERT、RoBERTa、BERT[11]1000Linear/Logisticregression[12]100,1000BERT、LSTM[13]数（以下、ステップ数と略記）の設定が重要になるが、既存研究では経験則で固定した数値を使用することが一般的であり（表1）、適切なステップ数に関する指針は現状明らかになっていない。また、近年ではBERT[8]のような多くのパラメータを持つ言語モデルが登場したが、これらのモデルに関するステップ数の設定は知見が不足している。そこで、本研究では、言語モデルを含む複数の実験条件でIGにおけるステップ数と計算誤差に関して定量的に分析をおこなう（4.1節）。その結果、半数以上のインスタンスについては想定よりも少ないステップ数で誤差が収束する一方で、一部のインスタンスに対しては非常に大きなステップ数を設定しても誤差が収束しない事例があることを示す。また、非常に大きなステップ数を設定しても誤差が収束しないインスタンスに対して、定性的な分析を実施する（4.2節）。分析により、積分過程で勾配が激しく変化する特徴量に誤差が発生しやすいことを示す。本研究は、ステップ数によるIGの変化を分析した初めての研究である。本研研究の実験結果から、既存の経験則による固定ステップ数の数値積分が非効率的かつ計算誤差を発生させる要因になっていることが示唆される。さらに、インスタンス毎に動的にステップ数を設定することで、効率的かつ計算誤差を低減できる可能性を示す。.