言語処理学会 第26回年次大会 発表論文集 (2020年3月)

予測根拠として解釈性の高いアテンションの選択
石井 愛

脇森 浩志

小松 祐城

日本ユニシス株式会社{ai.ishii, yuki.komatsu, hiroshi.wakimori}@unisys.co.jp
1

はじめに高い精度で予測を行うことができる深層学習を実サービスに適用していくにあたり，モデルの解釈性への関心が高まっている．自然言語処理において重要な進歩をもたらしたアテンション [1] は，その重みにより特定の単語にどれだけ重みを付けたかを知ることができるため，アテンションを用いてブラックボックスであるモデルを解釈しようとする研究が盛んである．
文書分類タスクにおいては，アテンションの重みを変更しても予測精度に大きく影響がないことから，アテンションの解釈性を否定する研究がある [2, 3]．し

図 1: Movie Reviews のサンプル．水色文字：正解デー

かし，セルフアテンションに基づく Transformer[4] をタの根拠箇所，文字背景の赤色濃さ：アテンションの用いた BERT[5] では，文書分類タスクにおいてもア強さ，下線：上位 20%のアテンションテンションの重みの変更が予測精度に大きな影響を与えることが示されている [6]．ただし，この研究におことを示した．解釈性の高いアテンションヘッドは，いて，セルフアテンションの重みの解釈性について，最終層 (12 層目) のみではなく 10〜12 層目に存在し，人間が根拠とする箇所との一致度については評価され予測クラスにより異なることがわかった． (ii) 提案手ていない．

法は，アテンションの可視化による予測根拠提示におまた，BERT について，個々のアテンションヘッドける解釈性の改善に寄与することができる．の予測における重要性は異なること [7, 8] や，異なる文法的な役割を持つ [9] ことが示されている．そこで，予測の解釈性においても個々のアテンションヘッドの重要性は異なるのではないかと考えた．

2

提案手法

2.1

解釈性の評価指標

本稿では，多くのタスクで優れた性能を達成した根拠としての妥当性を評価するベンチマークとして，BERT の個々のアテンションヘッドに焦点を当て，文ERASER ベンチマーク 1 が提案された [10]．ERASER

書分類の予測の解釈性について，人間が根拠とする箇では根拠個所がアノテートされた複数種類のデータ所との一致度に基づく定量的な評価指標 (2.1 節) と，セットおよびその評価指標が提案されている．文書分

それを用いたアテンションの選択手法 (2.2 節) を提案

類のデータセットである Movie Reviews は，映画のする．評価指標およびアテンションの選択について，レビューにポジティブ，ネガティブのクラスと，その複数のデータセットを用いて提案手法の有効性を示す

根拠となる箇所がアノテートされたデータセット [11](4.1 節，4.2 節)．さらに，手作業による定性的な評価(4.3 節) により，有効性を裏付ける．

を再整備したものである．Movie Reviews データセッ

本研究の貢献は次のようにまとめられる．( i ) アテERASER の評価指標のうち，Soft タイプとされてンションの重みの解釈性を定量化した指標により，解いる以下の指標により，アテンションの重みなどの連トのサンプルを図 1 に示す．

釈性が相対的に高いアテンションヘッドを選択できる
1 http://www.eraserbenchmark.com― 881 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

データセット 根拠数 トークン数 根拠のトークン比率 文書数
train 8.7
773.6
66.8 (9.4%)
1600
オリジナル dev 7.6
761.5
49.8 (7.2%)
200
test 10.4795.0
240.8 (31.4%)
199
train 4.7
446.7
36.4 (8.3%)
1600
BERT 用 dev 4.2
442.3
28.3 (6.6%)
200
test 5.5
451.3
111.1 (25.2%)
199

データセット トークン数 文書数
train
170.4
1500
books
dev190.6100test
177.1
400
train
165.3
1500
dvddev
184.6
100
test
167.7
400
train
668.7
4421
livedoor dev
665.0
1473
test
652.61473

表 1: データセットの統計 (Movie Reviews)

表 2: データセットの統計 (その他)
続的なスコアを評価することができる．

AUPRC: 根拠の正解とスコアの，Precision-Recall

データセットバッチサイズ エポック数 学習率
Movie Reviews
2472e-5
Books2455e-5
24
65e-5
DVD
Livedoor2483e-5曲線の作る面積．0 から 1 の範囲をとり，値が大きいほど良い．

Comprehensiveness: 根拠の箇所を削除した場合に，

表 3: BERT の各パラメータ削除しない場合と比較し，予測の信頼性が低下が大きいほど根拠の網羅性が高いとする指標．文書 di のトー
クン xi から，根拠箇所のトークン ri を削除した根拠性があるため，予測クラスごとに Iaw が最高値となる箇所の上位 kd のトークンを削除した x̃i を作成する．

アテンションヘッドの層・ヘッドを調査し，以下のよ

文書分類において，p̂ij をモデル m によるクラス j のうにマージして αmerge を求める．

オリジナルの予測確率: p̂ij = m(xi )j とし，トークン

文書 di の予測がクラス j のとき，を削除した x̃i に対する予測確率を，p̃ij = m(x̃i ) とT OP (dj )αimerge = αiする．

comprehensivenessi = p̂ij − p̃ij

(1)

Suﬃciency: 根拠の箇所以外を削除した場合に，削除しない場合と比較し，予測の信頼性の変化が小さい.

(4)

ここで，dj は予測がクラス j となる文書群，αT OP (dj )は dj について Iaw が最高値となるアテンションヘッドの重みである．

ほど根拠の充足性が高いとする指標．根拠箇所のトークン ri のみで予測したクラス j の予測確率を p̄ij と3実験設定する．

suﬃciencyi = p̂ij − p̄ij

(2)

直接根拠の正解との一致率を図るデータセットとして，

Movie Reviews を使用する．Movie Reviews は BERT

ここで，根拠箇所のトークン ri は，アテンションの上の 512 トークンの制限に合わせて文書および根拠箇所位 kd のトークン群とする．

を切り取った (表 1)．根拠個所の正解データセットの本研究では，アテンションの重みの解釈性の指無い通常の文書分類データセットとしては，レビュー

標 と し て ，comprehensiveness と suﬃciency か ら

データ (Books，DVD)[12] および Livedoor ニュース

Iaw (interpretability of attention weights) を設定する．
comprehensiveness は大きいほうが良く，suﬃciencyは小さいほうが良い指標のため comprehensiveness かコーパス 2 を使用する (表 2)．

ら suﬃciency を減算する．文書数を n とすると，学習モデルは bert-base-uncased を用いる．Livedoor

Iaw =

2.2n∑

1(p̄ij − p̃ij ).
n i=1

モデルの実装には，Transformers ライブラリ 3 のBertForSequenceClassification クラスを用いる．事前
ニュースコーパスについては，日本語の事前学習モ(3)デル bert-base-japanese-whole-word-masking4 を用いる．両事前学習モデルは，12 層，隠れ層 768 次元，12ヘッド，110M パラメータのモデルである．

解釈性の高いアテンションの選択

複数のデータセットにおいて，BERT で予測を行う際

BERT の各パラメータは，著者らによって提唱されている組み合わせから，バッチサイズ∈ {16, 24} とエの全 144 パターン (12 層，12 ヘッド) のアテンションの重みを出力し，Iaw を比較する．さらに，予測クラ2 https://www.rondhuit.com/download.html#ldcc

スによって，重要なアテンションヘッドが異なる可能

4 https://github.com/cl-tohoku/bert-japanese― 882 ―

3 https://github.com/huggingface/transformers

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ポック数∈ {1, ..., 10} のみ変更し，グリッドサーチにより dev の精度が高い組み合わせを選択する (表 3)．
できるだけ多くのトークンに対するアテンションの重みを検証するため，max sequence length は BERT に設定できる最大値である 512 で固定する．
peasonr=0.90 p=7.0e-58

アテンションは，各データセットの test を用いた予

peasonr=-0.78 p=1.4e-32

peasonr=0.92 p=1.2e-62

測の実行時に，すべての層・ヘッドの先頭の [CLS] トー

図 2: AUPRC と各指標の相関 (kd = 0.2)

クンのアテンションの重みを取得する．アテンション

予測クラス ランク 層-ヘッド acc Iaw
111-20.692
NEG
211-11 0.922 0.687
311-100.666
111-110.587
POS
212-10 0.948 0.502
311-30.477の重みには min max 正規化を適用する．

4

実験結果

4.1

解釈性の指標の妥当性評価

表 4: 予測クラスごとの Iaw (Movie Reviews)

図 2 に，Movie Reviews における，12 層 12 ヘッドの144 パターンのアテンションの AUPRC と各指標のの，予測クラスごとにマージしたアテンションの重み

ピアソン積率相関係数を示す．comprehensiveness はAUPRC と正の強い相関 (0.90)，suﬃciency は負の強αmerge の Iaw および AUPRC が最高値となった．
次に，根拠のアノテーションが無い文書分類データ

い相関 (-0.78) があり，Iaw (kd = 0.2)5 はさらに強いセットにおける調査結果を表 6 に示す．αmerge の算

正の相関 (0.92) を示し，根拠としてのアテンションの出に用いた層・ヘッドの肩に載せて，予測クラスの略選択に有用であることが示された．

称を示す．Movie Reviews と同様に，すべてのデータ

また，層の番号と AUPRC との相関は 0.83 であり，セットにおいて，αmerge の Iaw が一番大きい結果と深い層になるほど AUPRC が高くなる傾向があるこなった．よく可視化に用いられる最終層のアテンショとがわかった．ただし，図 2 のグラフの点を層の番号ンの重みの平均（12-avg）は上位からランク r = 7〜で色分けして示したように，最終層に近い層では解釈20 番目の結果であり，より解釈性の高いアテンション性の値のばらつきが大きい．そのため，アテンションヘッドが存在することが示された．の重みの可視化で用いられることが多い最終層のアテ

また，同じ事前学習モデルを用いた，Movie Re-ンション重みの平均では，解釈性が低くなる可能性がviews，Books，DVD においては，Iaw が上位となるあることがわかった．

層・ヘッドに共通のものが複数あることがわかった．

4.2

これは，ドメインの異なる同じタスクのデータセット

解釈性の定量評価間で個々のアテンションヘッドの重要性が共通するこMovie Review において，予測クラス ∈ {N EG, P OS}とを示した Michel ら [8] と同様の結果である．Michelごとに Iaw を算出した結果を表 4 に示す．NEG では，らによると，その重要性はファインチューニング時の11-2，POS では 11-11 が最高値となり，予測クラスによって Iaw が最高値となるアテンションヘッドが異なっ早い段階で決定されることから，事前学習の影響が大た．次に，各アテンションヘッドの Iaw および AUPRC

アテンションの文法的役割 [9] によって，同様のタスを表 5 に示す．ランクとして Iaw が大きい順を示す．

クで重要となるアテンションヘッドは共通するものにIaw と AUPRC のランクは若干の入れ替わりが見られるが，上位数件に関しては，Iaw によって AUPRCの大きさを捉えることができている．差は小さいものなると考えられる．

5 k は，表 1 の test における根拠箇所のトークン数の割合がd25.2%であることから，kd ∈ {0.1, 0.2, 0.25} の中で AUPRC とIaw の相関を比較し，最大となった 0.2 を設定した．このパラメー
タはデータセットにより変動する可能性があるが，他のデータセットにおいても根拠個所のトークンの割合は同程度であると仮定し，本稿では他のデータセットにおいてもこのパラメータを使用する．

きいことが示唆される．事前学習で決定された個々の4.3

解釈性の定性評価

Iaw が人間にとっての解釈性を評価できているかを調査するため，Iaw が最高値となった αmerge と，最終層の平均（12-avg）の２つを人手で評価する簡易的な定性評価を実施した．実験には Livedoor ニュースコー
パスを用い，test の中の 100 個のサンプルについて，― 883 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

カテゴリ
12-avg αmerge データ件数
ALL
46% 92%100
dokujo-tsushin 57% 29%
7
it-life-hack
31% 85%13
kaden-channel
47% 100%
15
livedoor-homme 100% 100%
5
movie-enter
57% 95%21
peachy0% 100%5smax
0% 100%1125% 100%
12
sports-watch
topic-news
100% 100%
11

ランク 層-ヘッドIaw AUPRC1αmerge
0.641 0.446
211 − 11P OS 0.639 0.445
312 − 100.579 0.437
412 − 40.502 0.442
511 − 2N EG 0.487 0.434
612 − 90.479 0.381
711 − 10.467 0.42
812 − avg
0.464 0.381
912 − 50.445 0.415
10 12 − 60.428 0.403

表 5: Movie Reviews における Iaw および AUPRC(acc=0.935, kd = 0.2)
表 7: 定性評価結果．データ件数中の解釈性があった
Books
DVD
Livedoor(acc=0.878)(acc=0.968)(acc=0.900)層-ヘッド
Iaw 層-ヘッド
Iaw 層-ヘッド
Iawαmerge
0.320 αmerge
0.400 αmerge
0.457
11 − 11N EG 0.299 11 − 11P OS 0.338 10 − 7sp,m,d,i 0.388
12 − 10P OS 0.273 11 − 20.303 12 − 8h0.394
12 − 90.266 10 − 80.287 11 − 80.371
10 − 90.243 12 − 90.269 11 − 10.360.237 10 − 40.359
11 − 20.213 10 − 6N EG
11 − 10.187 10 − 90.231 12 − avg
0.358
12 − 40.177 11 − 90.229 12 − 3n,t0.351
0.212 11 − 9kr=120.331
11 − 120.176 10 − 10.249
12 − avgr=20 0.116 12 − avgr=16 0.15 10 − 9sm
r=23

表 6: 根拠のアノテーションが無いデータセットにおける Iaw (kd = 0.2)

２つのアテンションを可視化した結果をランダムに上下に並べてアノテータ 6 に提示し，アノテータは，解釈性について，1 つめ，２つめ，どちらも高い，どちらも低い，の 4 つの選択肢の中から 1 つを選択した．アテンションの重みは，上位 20%のトークンの背景色に色付けをして可視化した．集計は，どちらも高い場合は両方 1，どちらも低い場合は両方 0 として，個々のサンプルについてのアノテータ 3 名の結果の合計が 2以上になった場合にカウントする方法をとった．結果を表 7 に示す．全体で 12-avg の 46%に対し，αmergeは 92%となり，Iaw の有効性が確認された．カテゴリごとに見ると，dokujo-tsushin のみ 12-avg のほうが良い結果となったが，その他のカテゴリについては同数もしくは αmerge のほうが良い結果であった．

5おわりに本研究では，BERT の 144 のアテンションヘッドについて，文書分類の予測の解釈性を定量的・定性的の両面から分析した．定量的な評価から，相対的に解釈性の高い重みを持つアテンションヘッドが発見された．さらに，根拠個所の正解データが付与されていないデー
6 著者ら 3 名にて実施した．

件数の比率タセットを用いた定性的評価から，提案手法により，アテンションの可視化による予測根拠提示の解釈性を改善できることが示された．これらの結果は，解釈可能な重み自体を出力するモデルの構築に寄与すると考える．

参考文献[1] Dzmitry Bahdanau, Kyung Hyun Cho, and Yoshua
Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015.
[2] Sarthak Jain and Byron C. Wallace. Attention isnot Explanation. In ACL, 2019.
[3] Sofia Serrano and Noah A. Smith. Is Attention Interpretable? In ACL, pp. 2931–2951, 2019.
[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz
Kaiser, and Illia Polosukhin. Attention Is All YouNeed. In NIPS, 2017.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of Deep
Bidirectional Transformers for Language Understanding. In NAACL, 2019.
[6] Shikhar Vashishth, Shyam Upadhyay, Gaurav SinghTomar, and Manaal Faruqui. Attention Interpretability Across NLP Tasks. arXiv, 1909.11218,2019.
[7] Elena Voita, David Talbot, Fedor Moiseev, RicoSennrich, and Ivan Titov. Analyzing Multi-Head
Self-Attention: Specialized Heads Do the Heavy
Lifting, the Rest Can Be Pruned. In ACL, pp. 5797–5808, 2019.
[8] Paul Michel, Omer Levy, and Graham Neubig. Are
Sixteen Heads Really Better than One? In NIPS,
2019.
[9] Kevin Clark, Urvashi Khandelwal, Omer Levy, andChristopher D Manning. What does BERT look at?
An Analysis of BERT’s Attention. In BlackBoxNLP,pp. 276–286, 2019.
[10] Jay DeYoung, Sarthak Jain, Nazneen Fatema Rajani, Eric Lehman, Caiming Xiong, Richard Socher,and Byron C Wallace. ERASER: A Benchmark toEvaluate Rationalized NLP Models Equal contribution. arXiv, 1911.03429v1, 2019.
[11] Omar F. Zaidan, Jason Eisner, and Christine Piatko. Using “annotator rationales” to improve machine learning for text categorization. In NAACL
HLT 2007; Proceedings of the Main Conference, pp.
260–267, 2007.
[12] John Blitzer, Mark Dredze, and Fernando Pereira.
Biographies, Bollywood, Boom-boxes and Blenders:
Domain Adaptation for Sentiment Classification. InACL, pp. 440–447, 2007.

― 884 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.