言語処理学会 第26回年次大会 発表論文集 (2020年3月)

解釈可能な敵対的摂動を用いた頑健な注意機構の学習
北田 俊輔†

彌冨 仁††

法政大学大学院 理工学研究科 応用情報工学専攻{shunsuke.kitada.8y@stu., iyatomi@}hosei.ac.jp

概要
注意機構や損失勾配は入力に対する予測の説明に使われてきたが，これらの手法は摂動に頑健ではないと示唆されている．またこの 2 つの関係性の評価はこれまで順位相関が用いられてきたが，その意義にも議論の余地がある．このように，摂動に頑健な注意機構の学習方法や，注意機構と損失勾配の関係を適切に評価する方法について課題が残されている．本研究では摂動に頑健な注意機構の学習のために，interpretableadversarial training (iAdvT) をもとにした Attention
iAdvT の提案を行うとともに，これらの説明手法の評価基準としてピアソン相関を用いることを主張する．
4 つのオープンデータセットからなる，様々なテキス
ト分類タスクを用いた評価実験において，AttentioniAdvT がほぼすべてのタスクで最高性能を達成した．
また，注意機構と損失勾配は高く相関することを示し，すべてのタスクにおいて提案手法が一番高い相関を示すことを確認した．

図 1: 単語列における各単語に対する勾配の大きさの棒グラフと，注意機構を可視化した際のヒートマップの例．棒グラフの上部に示す数字は各単語に対する正規化された勾配の大きさの順位を示している．一般的に，勾配を基にした可視化の順位と注意機構を基にした可視化の順位には一貫性は見られない．
注意機構に基づく解釈手法と損失勾配に基づく解釈手法の両者はそれぞれ予測の説明性を提供すると考え1られているが，Jain ら [4] は，注意機構と損失勾配のはじめに間の相関係数においてしばしば相関が低いことを報告

解釈可能なテキスト分類は現在，自然言語処理におしている．このとき相関係数にはケンドールの順位相ける重要な研究の 1 つである．入力文に対して予測に関係数が用いられているが，これは順位を基にした相寄与する重要な部分を可視化または解釈するために，関係数であり，この評価指標が注意機構と損失勾配の基本的には注意機構を基にした解釈と損失勾配を基に関係を評価するのに適切かどうかは議論の余地がある．

した解釈の 2 つの方法が用いられている．

一般的に図 1 のように，勾配を元にした可視化の順位

注意機構 (Attention) [1] は深層ニューラルネットと注意機構を元にした可視化による順位には一貫性はワーク (DNN) を通じて自然言語処理の分野に幅広く見られない．加えて， “movie” という単語が “good”適用されており，多くのタスクでパフォーマンス向上という単語よりも高い順位である必要はモデルの解釈に大きく貢献している．また注意機構の可視化を通じにおいてあまり関係はないと考えられる．て，DNN モデルの予測時に寄与している部分を基に

DNN は多くの場合ノイズや摂動の影響を受けやす
く，予測精度が低下する問題点がある [5]．さらにノイズや摂動を注意機構に追加すると，モデルが誤った予測をする可能性がある [4]．このような摂動は，注意機構および勾配を元にした手法による解釈を異なるものにする可能性がある．こうした摂動に対してモした説明が可能であると考えられている [2]．
予測の解釈を行う文脈においては，損失勾配に基づく方法が提案されている [3]．こうした手法は学習済
みモデルの勾配に基づいて，単語列などの入力における重要性を可視化することが可能である．

― 1285 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

デルの頑健性を向上させるために，adversarial train-注意機構 ϕ を考慮するため，ϕ は h および Q ∈ RD

ing (AdvT) [6] と呼ばれる正則化手法が提案されていをスカラ値に変換する．このとき入力に対する注意はる．また，この AdvT を NLP タスクに導入する Word

以下のように計算される:

AdvT では，単語ベクトルに対して摂動を入力し，誤分α̃ = softmax(ϕ(h, Q)) ∈ RT ．

類に対する頑健性を向上させている [7]．さらに，より解釈しやすい摂動を導入する interpretable adversar-ial training (iAdvT) を単語ベクトルに適用した WordiAdvT が提案され，成果を上げている [8]．
私たちは頑健な注意機構の学習を達成する普遍的な手法の提案として，単語ベクトルに対してではなく，注意機構に iAdvT を適用する Attention iAdvT を提ここで ϕ は additive attention [1] を考慮した．
最終的に，パラメータ W を持つ全結合層は予測 qを q = σ(W · hα ) ∈ RY を計算する．このとき，hα =∑T
t=1 α̃t · ht であり，σ は活性化関数である．従って，モデルは入力 X̃ に対する条件付き確率 Ỹ を計算する:exp (qỸ )p(Ỹ |X̃, W) = ∑|Y|．
m=1 exp (qm )案する．Attention iAdvT は対象タスクの分類精度の向上させると同時に，摂動に対する注意機構をより頑健にさせる．また前述の通り，私たちは注意機構と損

(1)

(2)

ここで qm は q における m 番目の要素である．

失勾配のに対する順位相関に評価に疑問を持ったため，テキスト分類モデルを訓練する上で，以下の最適化

ピアソンの相関係数を使用してこれらの関係を再評価問題を最小化するようなモデルのパラメータを探す．

する意義を議論し提案する．実験セクションに提案手

Ŵ = argmin{L(D, W)}

法および比較手法におけるピアソンの相関係数によるW有効性を示す．本論文での貢献は以下の通りである．

• 私たちは摂動に対する頑健な注意機構を学習する，
Attention iAdvT を提案する．

ここで L(D, W) は ℓ(X̃, Ỹ , W) = − log p(Ỹ |X̃, W) からなる，訓練データ D に対する損失関数である．

L(D, W) =• 私たちは仮説と観測に基づいた，注意機構と損失勾配の関係を評価する評価指標の再考を行う．

• 私たちは提案する Attention iAdvT を適用したモデルに対してさまざまな摂動に対して頑健になりうることを示す．

(3)

1
|D|

∑ℓ(X̃, Ỹ , W)

(4)

(X̃,Ỹ )∈D

単語に対する敵対的摂動

単語に対する adversarialtraining (Word AdvT) [7] は提案手法である Attention iAdvT における重要な要素である．Word AdvT
は目的関数に対して追加の誤差項 LAdvT を導入する．

2

敵対的摂動

Ŵ = argmin{L(D, W) + λLAdvT (D, W)}

モデルに入力される単語列 X は T 個の単語から構成され，語彙を V としたときに xt ∈ V を t 番目の単語として X = (x1 , · · · , xT ) = (xt )Tt=1 のように表すことができる．また Y は出力のクラス数とする．
次に xt に対応する D 次元の単語ベクトル w ∈ R

DW(5)

ここで λ は追加した誤差項の影響を制御するハイパー
パラメータであり，LAdvT は次のように定義される．

LAdvT (D, W) =1|D|∑ℓ(X̃ +rAdvT , Ỹ , W) (6)(X̃,Ỹ )∈Dを考える．単語列 X に対応する単語ベクトル列 X̃ はX̃ = (wt )Tt=1 と書ける．このとき，Ỹ は Y におけるクX̃ +rAdvT = (wt + rtAdvT )Tt=1 は単語ベクトルに対してラスラベルに対応する．したがって，N 個の訓練データ損失が増大する方向のノイズ r AdvT が加えられたベ

D は X̃ と Ỹ のペアからなる集合 D = {(X̃n , Ỹn )}Nn=1クトルであり，以下のように定義される．

として表すことができる．
ベースライン

Jain ら [4] にしたがって，注意機構を

rtAdvT = −ϵgt, where gt = ∇wt ℓ(X̃, Ỹ , W) (7)||g||2持つ LSTM ベースのエンコーダー Enc を用いて入ここで g は各ステップ t における gt をすべて結合し力 X̃ をエンコードした．エンコーダーは隠れ層 ht をたベクトルである．

ht = Enc(wt , ht−1 ) のように各ステップ t に対して計算する．ここで h0 はゼロベクトルである．

― 1286 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 2 値のテキスト分類タスクにおける予測精度 (F1) とピアソンの相関係数 (Corr.) の比較

SSTModelIMDB20News

AGNewsF1 [%]Corr.

F1 [%]Corr.

F1 [%]

Corr.

Baseline [4]

79.77

0.852

87.85

0.788

94.44

Word AdvT [7]

79.60

0.647

89.65

0.838

95.56

Word iAdvT [8]

79.57

0.643

89.67

0.839

Attention AdvT (Ours)

79.53

0.852

89.86

Attention iAdvT (Ours)

82.20

0.876

90.21

解釈可能な単語に対する敵対的摂動

単語に対するinterpretable adversarial training (Word iAdvT) [8]F1 [%]

Corr.

0.891

95.52

0.822

0.892

95.87

0.813

95.54

0.893

95.84

0.809

0.819

95.63

0.868

95.06

0.835

0.861

95.87

0.897

95.77

0.891

番目の注意を表す．このとき，αt から αk に対する注
意方向ベクトル uk,t は次のように定義される．

は Word AdvT よりも解釈性の高い摂動を単語ベクトuk,t =ルに対して付与することでモデルを頑健にする手法である．まず wk は語彙 |V| における k 番目の単語ベクトルを表す．このとき wt から wk に対する単語方向ベクトル dk,t は次のように定義される．

d˜k,t, where d˜k,t = wk − wtdk,t =||d˜k,t ||ũk,t, where ũk,t = ak − at||ũk,t ||2

ここですべての t および k における uk,t は常に単位ベクトル ||uk,t ||2 = 1 となる．
次に βt ∈ RT を考える．βk,t は βt における k 番目(8)の要素を表し，βt = (βk,t )Tk=1 である．r(βt ) は X̃ における t 番目の単語に対して，βt による摂動である．

ここですべての t および k における dk,t は常に単位ベr(βt ) =クトル ||dk,t ||2 = 1 となる．
次に αt ∈ R

|V|

(11)

βj,t uj,t(12)j=1を考える．αk,t は αt における k 番目
|V|T∑の要素を表し，αt = (αk,t )k=1 である．r(αt ) は X̃ に注意スコア a にこの摂動が加えられたとき，X̃ +r(β) =おける t 番目の単語に対して，αt による摂動である．

(at + r(βt ))Tt=1 と定義する．このとき注意機構に対し

r(αt ) =|V|∑て損失が増大する方向のノイズ r AdvT は以下のようαk,t dk,t(9)に定義される．

k=1

単語ベクトル w にこの摂動が与えられたとき，

rtAdvT = −ϵgt, gt = ∇βt ℓ(X̃ +r(β) , Ỹ , W) (13)||g||2X̃ +r(α) = (wt + r(αt ))Tt=1 と定義する．このとき単語ベクトルに対して損失が増大する方向のノイズ r AdvTは以下のように定義される．

rtAdvT = −ϵgt
, gt = ∇αt ℓ(X̃ +r(α) , Ỹ , W). (10)||g||2

Word iAdvT による摂動によって，向きと大きさを単実験

4本研究で提案する Attention iAdvT を評価するため、4 つのテキスト分類タスクを用いて評価した．また、注意機構と損失勾配の関係を評価するため、ピアソンの相関係数を用いて比較した．

語の方向に基づいた可視化や，人間が解釈可能なシンボルに復元可能であると考えられている．

34.1

実験設定

Jain ら [4] と厳密に比較するため，同様のデータセッ

提案手法

トの使用および前処理の適用を行い評価に用いた．デー

本研究では，解釈可能な adversarial training を注

タセットは train:valid:test=6 : 2 : 2 の割合で分割を意機構に適用することで，より頑健な注意の訓練を目行った．提案手法である Attention iAdvT の有効性を指す．まず αk は注意スコア a = ϕ(h, Q) における k確認するために，比較実験ではベースラインのモデルとして Jain らのモデルを使用し，敵対的摂動学習を― 1287 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

OneofOneofthegreatestromantic

comediesofthepastdecade(S1-a) ϵ = 5 (ハイパーパラメータ探索時の最良スコア)
thegreatestromanticcomediesofthepastdecade(S1-b) ϵ = 16 (ハイパーパラメータ探索時の最低スコア)

A

gentleA

gentlecompassionate

drama

about

griefandhealing(S2-a) ϵ = 5 (ハイパーパラメータ探索時の最良スコア)
compassionate

drama

about

griefandhealing(S2-b) ϵ = 16 (ハイパーパラメータ探索時の最低スコア)(a) Validation F1 scores(b) 単語列に対する注意の可視化

図 2: SST [9] の valid における摂動の大小による提案手法の予測精度の変化と，ある単語列に対する注意の可視化．
用いている Word AdvT [7] および Word iAdvT [8] を5おわりに比較対象として検討した．これら手法を Baseline に適用し，予測精度および注意機構と損失勾配間の相関の本研究では，解釈可能な敵対的摂動である inter-比較を行った．損失勾配については [3] から計算されpretable adversarial training をもとにした Attention

る勾配を利用した．モデルの最適化には Adam を使用

iAdvT を提案した．提案手法は摂動に対して頑健な注し，すべての実験において λ = 1 とした．Jain ら [4]

意機構の学習を可能にした．また，モデルの解釈に向の実験では test データをパラメータ選択で用いていけて注意機構と損失勾配がより相関するような学習をたが，より公正性を帰するために私たちは valid デー可能にした．注意機構と損失勾配の関係を適切に評価

タを用いてハイパーパラメータである ϵ の探索を行っするために，先行研究で用いられていた不明瞭な評価た．また，同じく Jain らとは異なり，注意機構と損指標の再検討を行った．この結果，注意機構と損失勾失勾配の関係をピアソンの相関係数で評価した．

配は強く相関していることを示し，提案手法を適用することで，より強く相関することを実験で確認した．

4.2

実験結果

参考文献

表 1 にテキスト分類タスクにおける予測能とピアソンの相関係数の比較結果を示す．提案手法である

Attention iAdvT が予測精度および相関係数において他の手法を超える予測能を示した．ピアソンの相関係数で注意機構と損失勾配の関係を評価することで，ベースラインのモデルにおいてもこれら 2 つが強い相関を示した．特に提案手法である Attention iAdvT が[2] J. Li, W. Monroe, and D. Jurafsky, “Understanding neural networks through representation erasure,” CoRR preprint
arXiv:1612.08220, 2016.
[3] K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep insideconvolutional networks: Visualising image classification models and saliency maps,” in Proc. of ICLR, Workshop Track,2013.
[4] S. Jain and B. C. Wallace, “Attention is not explanation,” inProc. of NAACL, 2019, pp. 3543–3556.

他のモデルよりも強い相関を示した．
図 2 に SST [9] データセットの validation セットにおける，摂動の大きさ ϵ を変化させたときの提案手法のパフォーマンスの変化を示す．提案手法である

Attention iAdvT を適用したモデルでは，摂動の大きさに関わらずほとんど一定の高い予測精度を達成し，ハイパーパラメータに対する頑健性も確認できた．また，摂動の大きさがある一定を超えると予測精度は 6%ほど急激に低下した．最良のスコアの注意の可視化と比較して，最低スコアのアテンションヒートマップはより多くのノイズを引き起こし，予測モデルに悪影響を及ぼしていることが確認できた．

[1] D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” CoRR
preprint arXiv:1409.0473, 2014.

[5] P. K. Mudrakarta, A. Taly, M. Sundararajan, and K. Dhamdhere, “Did the model understand the question?” in Proc. ofACL (Long Paper), ser. ACL, 2018, pp. 1896–1906.
[6] I. J. Goodfellow, J. Shlens, and C. Szegedy, “Explaining andharnessing adversarial examples,” in Proc. of ICLR, Conference Track, 2014.
[7] T. Miyato, A. M. Dai, and I. Goodfellow, “Adversarial training methods for semi-supervised text classification,” in Proc.
of ICLR, Conference Track, 2016.
[8] M. Sato, J. Suzuki, H. Shindo, and Y. Matsumoto, “Interpretable adversarial perturbation in input embedding spacefor text,” in Proc. of IJCAI, ser. AAAI Press, 2018, pp. 4323–4330.
[9] R. Socher, A. Perelygin, J. Wu, J. Chuang, C. D. Manning,A. Ng, and C. Potts, “Recursive deep models for semantic compositionality over a sentiment treebank,” in Proc. ofEMNLP, 2013, pp. 1631–1642.

― 1288 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.