言語処理学会 第30回年次大会 発表論文集（2024年3月）

Integrated Gradients における理想の積分ステップ数はインスタンス毎に異なる
牧野 雅紘 1 浅妻 佑弥 1,2 佐々木 翔大 3,1 鈴木 潤 1,2
1 東北大学2 理化学研究所
3 株式会社サイバーエージェント{masahiro.makino.r6, asazuma.yuya.r7}@dc.tohoku.ac.jp
sasaki shota@cyberagent.co.jp jun.suzuki@tohoku.ac.jp

概要
Integrated Gradints (IG) は、機械学習モデルの挙動を説明する手法である。IG は公理により値の加法性が保証される利点を持つが、実際は数値積分の誤差から公理が保証されない可能性がある。一方で、IG の数値積分に関する分析の報告はなく、最適な積分ステップ数を導出する指針もない。そこで本研
究では、積分誤差に関する分析を実施する。実験により、既存研究で広く用いられているステップ数の設定方法では、半数以上のインスタンスで過剰なステップ数となり、一部のインスタンスではステップ数が不足することを示す。本稿は IG のステップ数を分析した初めての研究報告であり、ステップ数を固定する既存の積分方法の問題点を明らかにする。

1

はじめに特徴量帰属法 [1] とは、機械学習モデルが出力に寄与した特徴量を明らかにする方法であり、ブラックボックスである機械学習モデルの挙動を説明・分析することを目的に使用されている。特に特徴量帰属法の一種である Integrated Gradients (IG) [2] は、その数学的性質と低い計算コストから、画像処理分
野 [3, 4] や言語処理分野 [5, 6, 7] で使用されている。
IG の持 つ数 学的 性 質の 中で も 重要 視さ れ るのが完全性 (Completeness) [2] である。特徴量の重要度である寄与度の加法性を保証する公理であり、寄与値を用いた演算や比較等の分析結果に正当性を担保する上で必要となる。
一方で、IG の計算では勾配の数値積分を使用するため、計算誤差が発生し得る。この計算誤差は加法性の破綻を引き起こすが、現在まで誤差に関する分析は報告されていない。また、計算誤差を低減するためには、数値積分の精度を決定する積分ステップ

表 1 文章分類で IG を使用する際に設定されるステップ数：既存研究ではステップ数が全インスタンスに対して任意の値で静的に固定される。
ステップ数モデル
文献
50
CNN[9] [10]50, 250DistilBERT、RoBERTa、BERT [7]10, 30, 100, 300 DistilBERT、RoBERTa、BERT [11]1000Linear / Logistic regression[12]
100, 1000
BERT、LSTM[13]

数（以下、ステップ数と略記）の設定が重要になるが、既存研究では経験則で固定した数値を使用することが一般的であり（表 1）、適切なステップ数に関する指針は現状明らかになっていない。また、近年では BERT [8] のような多くのパラメータを持つ言語モデルが登場したが、これらのモデルに関するステップ数の設定は知見が不足している。
そこで、本研究では、言語モデルを含む複数の実験条件で IG におけるステップ数と計算誤差に関して定量的に分析をおこなう（4.1 節）。その結果、半数以上のインスタンスについては想定よりも少ないステップ数で誤差が収束する一方で、一部のインスタンスに対しては非常に大きなステップ数を設定しても誤差が収束しない事例があることを示す。
また、非常に大きなステップ数を設定しても誤差が収束しないインスタンスに対して、定性的な分析を実施する（4.2 節）。分析により、積分過程で勾配が激しく変化する特徴量に誤差が発生しやすいことを示す。
本研究は、ステップ数による IG の変化を分析した初めての研究である。本研研究の実験結果から、既存の経験則による固定ステップ数の数値積分が非効率的かつ計算誤差を発生させる要因になっていることが示唆される。さらに、インスタンス毎に動的にステップ数を設定することで、効率的かつ計算誤差を低減できる可能性を示す。

― 1826 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2

れた値であり、定量的な分析によって設定された値

Integrated Gradientsではない（表 1）。また、BERT [8] のような多くのパ特徴量帰属法 [1] は特徴量の寄与値を計算する方ラメータを持つ言語モデルに必要なステップ数につ法の総称であり、寄与値は各特徴量がモデル出力いて分析した研究は存在しない。現状のままであれ（予測）にどの程度有用だったかを表す。Integrated

ば、 適切なステップ数を設定できず誤差を十分に減Gradients (IG) [2] は特徴量帰属法の中で主要な手法少できない状況で IG を使用してしまう可能性があであり、望ましい公理と単純な計算方法から、画像り、IG の結果の信頼性に疑問が生じる。そのため、処理 [3, 4] や言語処理 [5, 6, 7] で広く使われている。

ここでは完全性公理に基づいて算出される IG の理

入力ベクトル 𝒙 ∈ ℝ𝑛 における 𝑖 番目の特徴量 𝑥𝑖論値と数値積分によって算出される IG の実測値のの寄与度を計算する IG は以下の式で定義される。
∫ 1
𝜕𝐹 ′′(𝒙 + 𝛼(𝒙 − 𝒙 ′ ))𝑑𝛼 (1)IG𝑖 (𝒙) = (𝑥𝑖 − 𝑥𝑖 )𝜕𝑥𝑖𝛼=0

誤差を測定し、ステップ数による寄与値の変化を定

ここで、𝐹 は微分可能な機械学習モデル、𝒙 ′ はベー量的に分析する。

実験設定

3

現在の言語処理分野では、BERT のような事前学スラインベクトル (3.2 節参照) を表す。
𝛼 が [0, 1] の値域で変化する計算過程において、ベースラインベクトルから入力ベクトルへの直線経習モデルを、文章分類のような下流タスクにファインチューニングする手法が一般的である。そのた路に沿って勾配の数値積分を行う。ここで、数値積分の際のサンプリング点は数値積分法とステップ数め、ここでは複数のデータセットで事前学習モデルによって決定される。各サンプリング点で逆伝搬の分に解けるモデルを用意した。その後、ステップ数計算を行う必要があるため、ステップ数に比例してに基づく IG の変化を観測した。

計算コストが増大する．しかし、ステップ数の不足

3.1は大きな積分誤差を招く。そのため、誤差と計算コストはトレードオフの関係にあり、適切なステップ

相対誤差 (Relative error; RE) [2] は、理論値に対す

各次元 𝑖 における IG の総和は、数における相対誤差は以下の式で計算する。

与えられた入力 𝒙 に対するモデル出力値からベース

Í f
IG𝑖 (𝒙) − (𝐹 (𝒙) − 𝐹 (𝒙 ′ ))RE(𝒙) = 𝑖𝐹 (𝒙) − 𝐹 (𝒙 ′ )ラインベクトル 𝒙 ′ に対するモデル出力値を引くことで得られる。
𝑛Õ

IG𝑖 (𝒙) = 𝐹 (𝒙) − 𝐹 (𝒙 ′ )IG の誤差指標

る実測値の乖離を測定する指標である。各ステップ数を設定する必要がある [14]。
IG の完全性公理のファインチューニングを行い、指定のタスクを十(3)Í f
ここで、 𝑖 IG𝑖 (𝒙) は数値積分により求めた実測値の(2)𝑖=1

IG の和である。相対誤差は IG の理論和値と実測値の乖離を表す。

この性質は完全性 (Completeness) [2] といい、 IGが満たす数学的な公理の一つである。

3.2

ベースラインベクトル

完全性公理

IG における適切なベースラインベクトルの設定は寄与値の加法性を保証するため、寄与値を用いは、今もなお議論されている [15, 16, 13]。本実験でた演算や分析の正当性を担保するために重要であは、ベースラインベクトルはモデルにとって最小限る。しかしながら、実用上は数値積分による誤差がの情報量を持つべきであるという考え方に基づき、発生するため、この公理が崩れる場合がある。誤差最大エントロピーベースラインを使用した [16]。こを十分に抑制するためには、十分なステップ数を設のベクトルは、テストデータセットにおいてモデル定する必要がある。いくつかの既存研究では、誤出力が最も一様に分布したベクトルである。

積分ステップ数の設定における課題差の抑制に必要なステップ数について言及している。CNN モデルを用いた文章分類では 20 から 300
ステップ、LSTM を用いた翻訳タスクでは 100 から

3.3

データセット・モデル

文 章 分 類 に お い て 広 く 使 用 さ れ て い る AG

1000 ステップを使用している [2]。しかし、多くのNews [17]、20 News [18]、SST2 [19] データセットを既存研究でステップ数は、経験則に基づいて設定さ用いた。AG News と 20 News は、ニュース記事とカ― 1827 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 左の箱ひげ図：赤い線は各ステップ数の相対誤差平均を表し、各点は 1 インスタンスの相対誤差を表す。右のヒストグラム：各インスタンスの理想的なステップ数。縦軸はインスタンス数、横軸は理想ステップ数。インスタンスによって理想的なステップ数が異なるが、60 のインスタンスで理想ステップ数が 100 ステップ以内であった。

テゴリラベルから構成され、カテゴリ数はそれぞれ4 つのカテゴリ、20 のカテゴリが存在する。SST2

4.1

誤差の定量分析は、映画のレビュー文と感情ラベルから構成され、指定したステップ数で IG を計算した場合に発肯定的・否定的の 2 つのラベルが存在する。データ生した誤差を定量的に解析した。ステップ数 100、セットの詳細は付録 A.1 に示す。分類モデルに用い300、1000、2000、5000 において IG を計算し、相対る言語モデルとして、BERT [8] と RoBERTa [20] の誤差を求めた。

ベースモデルとラージモデルの両方を使用した。モ
デルの詳細は付録 A.1 に示す。

3.4

図 1 左の箱ひげ図の結果から、膨大なステップ数であっても、大きな誤差を持つインスタンスが存在することが観測された。たとえ、ステップ数としてその他の実験設定5000 を設定しても、相対誤差が 100%より大きいサ

IG を計算する際の数値積分法は右リーマン和とンプルが存在し、最大で相対誤差が 700%より大きガウス・ルジャンドル積分を使用した。本研究の検いインスタンスも確認した。これらの結果は、大き証実験では各ステップ数における誤差を計算する必なステップ数を確保することが、より小さな誤差を要があるため、非常に多くの実験時間を要する。現保証するわけではないことを示す。

実的な実験時間に抑えるために、各データセットのまた、図 3 において、ステップ数の増加に伴い相テストデータから 100 個のインスタンスを無作為に対誤差が激しく上下動するインスタンスが観測されサンプリングした。

た。この事例より、ステップ数の増加に伴い相対誤4差が単調減少するわけではないことを確認できた。

実験結果

より詳細な分析を行うため、各インスタンスにお数 値 積 分 法 と し て 右 リ ー マ ン 和 と ガ ウ ス・ル

ける理想的なステップ数の分布を調べた。ここで、ジャンドル積分の 2 種類の方法を用いて実験を相対誤差が最初に 5%以内に収まるステップ数を理行ったが、右リーマン和がガウス・ルジャンドル積分よりも良い結果を示す傾向にあったため、こ想的なステップ数として定義する [2]。図 1 右のヒストグラムから、1000 回以内のステップ数に理想的こでは右リーマン和の結果を報告する。詳細は付なステップ数が存在するインスタンスが 100 イン

録 A.3 に示す。また、複数のモデルを用いて実験をスタンス中 98 インスタンス確認された。このうち、行ったが、概ね同様の傾向を示したため、ここでは100 回のステップ数以内で理想的なステップ数を持BERT(large)-AGnews を用いた結果のみを示し、他のつインスタンスが 60 存在した。この結果は、たとモデルの結果は付録 A.4 に示す。

え BERT のような言語モデルであっても、半数以上のインスタンスでは 100 回程度の少ないステップ数― 1828 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図2

単語ごとの寄与：各行の上は固定ステップ数を想定し、下は理想ステップを使用した場合の可視化。て値が大きく変化することが確認できる。この結果
より、積分による IG の寄与値の集約の際に、入力ベクトルの全ての次元に関して小さな誤差が蓄積するのではなく、ある特定の次元に対して大きな誤差が発生すると推察される。

考察

5

分析から、インスタンス毎に必要なステップ数は異なることが明らかになった。したがって、特定の誤差を下回るまでステップ数を順次増やし、誤差を減らすことを推奨する。例えば、最初にステップ数を 2𝑛 とし、誤差が一定に収束するまで 𝑛 を増加させ
図 3 あるインスタンスのステップ数ごとの相対誤差：ス
テップ数を増やせば相対誤差が単調減少するわけではないことを示している。

実行することで、 IG が完全性を満たすことを保証できる。また、インスタンスごとにステップ数を最でも問題なく誤差が収束することを示す。その一方数が削減できることが本実験の分析で示されているで、1000 回以上のステップ数を設定したとしても、ため、より効率的に IG を計算することができる。

一部のインスタンスでは誤差は十分に収束しない。

6

この実験によって、全インスタンスで固定のステッ適化すれば、多くのインスタンスで必要なステップ結論プ数を指定する現在の IG の計算方法は、非効率的IG におけるステップ数は、データセットやモデかつ完全性の保証が困難であることが示唆された。

ルごとに研究者が経験則に基づいて主観的に決定4.2しており、 IG の信頼性に疑問がある。本研究では、誤差の定性分析

ステップ数ごとの誤差を定量的に分析した。その結

4.1 節の実験により、非常に大きなステップ数を果、理想的なステップ数はインスタンスごとに異な設定した環境下でも、誤差が収束しないインスタンること、十分なステップ数を確保しても、誤差の減スが確認された。原因を探るため、誤差が収束しな少を保証することはできないことを明らかにした。

いインスタンスについて定性的な分析を行った。
図 2 に、誤差が発生するインスタンスに対する可これらの結果から、モデルやデータセットごとにステップ数を固定する現在の主流の方法では、例え十視化の結果を示す。各単語に対応する各次元の寄与分なステップ数を確保したとしても、結果が破綻しの和を各単語の寄与とし、緑色は正の寄与、赤色はたインスタンスが生成され、 IG の解析結果の信頼負の寄与を表す。最も濃い色合いは、各単語寄与の性が損なわれるリスクがあることがわかった。これ中で最も大きな絶対値に割り当て、色は 0 に近づくを解決するために、インスタンスごとにステップ数につれて薄くなる。このルールは文献 [2] で採用さを設定することを提案した。本研究は、ステップ数れている。誤差が発生した場合、全ての特徴量で寄による IG 値の変動を定量的に分析し、既存の IG の与値が変化するのではなく、特定の特徴量に集中し問題点を明らかにした初めての研究である。

― 1829 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

[18] Youngjoong Ko. A study of term weighting schemes using class
information for text classiﬁcation. In Proceedings of the 35th

謝辞

International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’12, p. 1029–1030,

本 研 究 は JST ム ー ン シ ョ ッ ト 型 研 究 開 発 事 業
JPMJMS2011-35（fundamental research) の支援を受けたものである。

参考文献[1] Sheikh Rabiul Islam, William Eberle, Sheikh Khaled Ghafoor, andMohiuddin Ahmed. Explainable artiﬁcial intelligence approaches:
A survey. ArXiv, Vol. abs/2101.09429, , 2021.
[2] Mukund Sundararajan, Ankur Taly, and Qiqi Yan. Axiomatic
attribution for deep networks, 2017.
[3] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow,
Moritz Hardt, and Been Kim. Sanity checks for saliency maps,2020.
[4] Andrei Kapishnikov, Tolga Bolukbasi, Fernanda Viégas, andMichael Terry. Xrai: Better attributions through regions, 2019.
[5] Soumya Sanyal and Xiang Ren. Discretized integrated gradientsfor explaining language models. In Proceedings of the 2021

New York, NY, USA, 2012. Association for Computing Machinery.
[19] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentimenttreebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 1631–1642,Seattle, Washington, USA, October 2013. Association for Computational Linguistics.
[20] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi,Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, andVeselin Stoyanov. Roberta: A robustly optimized bert pretraining
approach, 2019.

Conference on Empirical Methods in Natural Language Processing, pp. 10285–10299, Online and Punta Cana, Dominican

Republic, November 2021. Association for Computational Linguistics.
[6] Sandipan Sikdar, Parantapa Bhattacharya, and Kieran Heese. Integrated directional gradients: Feature interaction attribution forneural NLP models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the11th International Joint Conference on Natural Language
Processing (Volume 1: Long Papers), pp. 865–878, Online,

August 2021. Association for Computational Linguistics.
[7] Joseph Enguehard. Sequential integrated gradients: a simple buteﬀective method for explaining language models, 2023.
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers
for language understanding, 2019.
[9] Frederick Liu and Besim Avci. Incorporating priors with feature
attribution on text classiﬁcation, 2019.
[10] Lucas Dixon, John Li, Jeﬀrey Sorensen, Nithum Thain, and Lucy
Vasserman. Measuring and mitigating unintended bias in text classiﬁcation. In Proceedings of the 2018 AAAI/ACM Conference
on AI, Ethics, and Society, AIES ’18, p. 67–73, New York, NY,USA, 2018. Association for Computing Machinery.
[11] Soumya Sanyal and Xiang Ren. Discretized integrated gradientsfor explaining language models, 2021.
[12] Tessa Han, Suraj Srinivas, and Himabindu Lakkaraju. Which explanation should i choose? a function approximation perspective
to characterizing post hoc explanations, 2022.
[13] Jasmijn Bastings, Sebastian Ebert, Polina Zablotskaia, Anders
Sandholm, and Katja Filippova. ”will you ﬁnd these shortcuts?” aprotocol for evaluating the faithfulness of input salience methods
for text classiﬁcation, 2022.
[14] Gabriel Erion, Joseph D. Janizek, Pascal Sturmfels, Scott Lundberg, and Su-In Lee. Improving performance of deep learningmodels with axiomatic attribution priors and expected gradients,2020.
[15] Pascal Sturmfels, Scott Lundberg, and Su-In Lee. Visualizing the impact of feature attribution baselines. Distill, 2020.
https://distill.pub/2020/attribution-baselines.
[16] Hanxiao Tan. Maximum entropy baseline for integrated gradients.
In 2023 International Joint Conference on Neural Networks(IJCNN), pp. 1–8, 2023.
[17] Antonio Gulli. Agnews, 2004. http://groups.di.unipi.it/∼gulli/AG corpus of news articles.html.

― 1830 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

A.1

データセット・モデル

表 2 に本研究で使用したデータセットの詳細を示す。
また表 3 に本研究で使用したモデルのテストデータにおける正解率を示す。
データセットAG news
20 news
SST2

表 2 データセットの詳細
訓練 / テスト クラス数120k / 7.6k
4 クラス
11.3k / 7.53k 20 クラス
6.92k / 1.82k
2 クラス

最大系列長
5020020

表 3 各モデルのテストデータにおける正解率
正解率
モデル
AG News 20 News SST-2
BERT-base (110M)
0.94
0.640.86
BERT-large (340M)0.930.650.87
RoBERTa-base (125M)
0.94
0.610.88
RoBERTa-large (561M)
0.93
0.640.88

図 4 右リーマン和とガウスルジャンドル積分それぞれの平均相対誤差。青色が右リーマン和の結果で、オレンジ色がガウスルジャンドル積分の結果。

理想ステップ数

A.2

現実的な実験時間に抑えるために、理想ステップ数は1000 回以内の範囲で測定している。表 4 に示すように、100 のインスタンス中、ほとんど全てのインスタンスの理想ステップ数が 1000 回以内に収まっている。
表4理想ステップ数が 1000 以内のインスタンス数
モデル
AG News 20 News SST-2
BERT-base
100
100
100
BERT-large
9998
99
RoBERTa-base
9910095
RoBERTa-large
99
10097

A.3

(a) BERT(large) 20News における誤差の定量分析

2 つの積分方法の比較

右リーマン和とガウスルジャンドル積分の誤差低減においての比較を図 4 に報告する。紙面の都合上全ての実験設定における結果を載せることができないため、BERT large モデルにおける実験設定の結果のみを報告する。図 4 において、右リーマン和の平均相対誤差は、ガウスルジャンドル積分のものと比べステップ数を増大するにつれて、より早く平均相対誤差が減少していることがわかる。報告していない実験設定においても同じ傾向が見られた。

A.4(b) BERT(large) SST2 における誤差の定量分析

誤差の定量分析

4.1 節において報告した誤差の定量分析について、その他の実験設定の結果も報告する。紙面の都合上全ての実験設定における結果を載せることができないため、図 5 にBERT (large) の結果とより特徴的な結果となった RoBERT(large) AGnews についての結果を報告する。多くのステップ数を確保しても誤差が減少しないインスタンスが存在する。特に RoBERT (large) AGnews については、ステップ数の増大が誤差低減に必ずしも繋がらないことを顕著に表している。また多くのインスタンスの理想ステップ数が 100 近くに存在する。報告していない実験設定においても同じ傾向が見られた。

(c) RoBERTa(large) AGnews における誤差の定量
分析
図 5 左の箱ひげ図：赤い線は各ステップ数の相対誤差平均を表し、各点は 1 インスタンスの相対誤差を表す。右のヒストグラム：各インスタンスの理想的なステップ数。
縦軸はインスタンス数、横軸は理想ステップ数。

― 1831 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).