# 自己注意機構のアテンション重みが特定の種類のトークンに 集中する現象と外れ値次元の関係

丸田 佳 松崎 拓也
東京理科大学 理学研究科 応用数学専攻
1422541@ed.tus.ac.jp matuzaki@rs.tus.ac.jp

## 概要

BERT の自己注意機構は一部の層で [CLS]・[SEP] といった特殊トークンや，カンマ・ピリオドに大きなアテンション重みを割り振るという現象が知られている。一方，BERT の各層での出力べクトルには他の次元と値の絶対値が大きく離れている次元（外れ値次元）が存在することが知られている.

本研究では，外れ值次元と特定の種類のトークンへのアテンションの集中という現象の関係を定量的に分析する。結果として，一部の層では少数の外れ値次元がアテンションの集中を決める支配的な要因になっており，その影響で特定の種類のトークンに割り振られるアテンション重みが大きくなることを数値的に示す.

## 1 はじめに

自己注意機構をその中核とする Transformer [1] アーキテクチャは，BERT [2]をはじめとするさまざまな言語モデルで用いられている. 自己注意機構は，入力文の各トークンに対し，他のトークンとの関連度（アテンション重み）を計算し，関連が強いトークンを重視するように重みづけを行うことで出カベクトルを計算している．従って，アテンション重みが平均的に大きいトークンは，他のトークンから大きな注目を集めていることになるため，アテンション重みを観察することで，モデル内部の挙動をある程度理解できる場合がある $[3,4,5]$. しかし, アテンション重みが平均的に大きいトークンは必ずしも文において重要なトークンというわけではない.実際に Clark ら [6] は，BERT におけるアテンション重みは，前半層では [CLS], 中間層では [SEP], 後半層ではカンマ・ピリオドといった内容語としての意味を持たないトークンに大きく割り振られることを示した. Kobayashi ら [7]による, 特殊トークンや句読点に対応するべクトルはノルムが小さい傾向にあるため，出力ベクトルを作る際のこれらのトークンからの最終的な寄与は小さいことがわかるという観察もあるが，モデル内部の挙動を知る手がかりとしてアテンションを利用するためには，意味を持たないトークンにアテンションが集まる原因についてさらに理解することが必要である.

一方，BERT の各層が出力するべクトルには他の次元と比較して值の絶対値が非常に大きい次元（以降，「外れ値次元」と呼ぶ）が存在することが知られており，外れ値次元は，事前学習コーパスにおけるトークン頻度との相関があること [8] や，下流タスクの知識をエンコードしていること [9], 位置埋め込みや層正規化からの影響 $[10,11]$ などが明らかになっている. 特に，Puccetti ら [8] は，特定の層，特定の外れ值次元に着目した時に，アテンション重みの大きさと外れ値次元の値が相関している場合があることを示し，特定の種類のトークンへのアテンションの集中と外れ值次元の値との間に関係があることを示唆している.

本研究では，外れ値次元において，特定の種類のトークンは他のトークンとの絶対値の差が大きいことを示す（\$3）．さらに，BERT の出力ベクトルの各次元とアテンションの関係を定量的に分析することで，少数の外れ值次元がアテンションを決める上で支配的な影響を及ぼす場合があることを示す（§4）. これら 2 つの事実から，BERT が特殊トークンやカンマ・ピリオドへアテンション重みを大きく割り振る現象は，特定の少数次元の強い影響が原因であることがわかる.

## 2 準備

既存研究で報告されている以下の 2 つの性質を，言語モデルとして BERT-base-uncased ${ }^{1)}$, 入力データ

- 180次元目 -308 次元目 -381 次元目 - その他

図 1: STS-B dev データに対する BERT の全出力ベクトルの次元ごとの平均値

として STS-B dev データセット2)の sentence 1 全文を用いて確認する：
- BERT の出力ベクトルには他の次元よりも絶対值の大きい外れ值次元が存在する $[8,9,10,11]$

・BERT のアテンション重みは前半・中間・後半層のそれぞれで特定の種類のトークンに大きく割り振られる [6]

## 2.1 BERT の外れ値次元

全トークンの出力ベクトルを平均し，次元ごとに折れ線グラフにしたものを図 1 に示す. 図 1 より， 308 次元目は全ての層において絶対値が大きいこと, 381 次元目は中間層で他の次元に比べ絶対値が大きくなること，180 次元目は最終層付近で絶対值が大きくなることがわかる．以下，本論文ではこの 3 つの外れ值次元に注目する。

## 2.2 トークンの種類とアテンション重み

全トークンに対するアテンション重みの平均を [CLS], [SEP], カンマ・ピリオド，その他のトークンの 4 つに分けて層ごとに求めたものを図 2 に示す.図より, 前半層 (Layer 2, 3) では [CLS] のアテンションが大きく，中間層 (Layer 5～10) では [SEP]へのアテンションが大きいことがわかる. また, Layer 11，12においてカンマ・ピリオドへのアテンションが急激に大きくなっていることがわかる.
 STSbenchmark
- CLS - SEP - . or, - Other

図 2: STS-B dev データに対する BERT のアテンション重みの層平均

## 3 外れ值次元の値とトークンの種類

図 1 で確認した外れ值次元において，特定の種類のトークンは他のトークンとの絶対值の差が大きいことを示す. STS-B の dev データセットの sentence 1 の全文を事前学習済みの BERT-base (uncased) に入力し，各層ごとにトークンを [CLS], [SEP]，カンマ・ ピリオド，その他の 4 種類に分けて，外れ值次元の値の平均値を計算しグラフにまとめたものを図 3a， 3b，3c に示す.

308 次元目図 $3 \mathrm{a}$ を見ると, Layer 0 から Layer 8 までは [CLS] の絶対値が最も大きく，Layer 0 を除いてカンマ・ピリオドも [CLS] とほぼ同程度の値であることがわかる。また Layer 1 と Layer 2 では [CLS], [SEP]，カンマ・ピリオドの值は同程度であるが， Layer 3 から [SEP] の值が増加し, Layer 5 以降において [SEP] は非負値をとることがわかる.

381 次元目図 $3 b$ を見ると，Layer 0 から Layer 8 までは $[\mathrm{SEP}]$ の絶対値が大きく，特に中間層においてその傾向が強いことがわかる。

180 次元目図 $3 \mathrm{c}$ を見ると, Layer 9 以降から [SEP] とカンマ・ピリオドの絶対値の値が大きくなり始め，最終層では，[SEP] とカンマ・ピリオドは他の種類のトークンと比べて絶対値が非常に大きくなることがわかる。

## 4 外れ值次元のアテンションスコア への影響の分析

本節ではアテンションスコアに対する各次元からの寄与の計算方法を述べ，外れ値次元がアテンションスコアにおいて大きな影響を持つことを示す.

(a) 308 次元目

(b) 381 次元目

(c) 180 次元目

図 3: 外れ値次元の値の層ごとの平均値

## 4.1 アテンション重みにおける特定次元か らの影響

入力文の $m$ 番目のトークンをクエリ,$n$ 番目のトークンをキーとした時，あるへッドにおけるトー クン $m$ から $n$ へのアテンション重み $\alpha_{m, n}$ は以下のように計算される.

$
\begin{gathered}
\alpha_{m, n}:=\operatorname{softmax}\left(\frac{\boldsymbol{q}\left(\boldsymbol{x}^{m}\right) \boldsymbol{k}\left(\boldsymbol{x}^{n}\right)^{\top}}{\sqrt{d^{\prime}}}\right) \\
\boldsymbol{q}(\boldsymbol{x}):=\boldsymbol{x} \boldsymbol{W}^{Q}+\boldsymbol{b}^{Q}, \quad \boldsymbol{k}(\boldsymbol{x}):=\boldsymbol{x} \boldsymbol{W}^{K}+\boldsymbol{b}^{K}
\end{gathered}
$

ここで $\boldsymbol{x}^{m}, \boldsymbol{x}^{n} \in \mathbb{R}^{d}$ はクエリとキーに対応するべクトル $, W^{Q}, W^{K} \in \mathbb{R}^{d \times d^{\prime}}$ はこのへッドにおけるクエリとキーの重み行列， $\boldsymbol{b}^{Q}, \boldsymbol{b}^{K} \in \mathbb{R}^{d^{\prime}}$ はこのへッドにおけるクエリとキーのバイアスである.

次に，式(1)の $\alpha_{m, n}$ における softmax 関数の引数の分子を $S=\boldsymbol{q}\left(\boldsymbol{x}^{m}\right) \boldsymbol{k}\left(\boldsymbol{x}^{n}\right)^{\top}$ とおき, $\boldsymbol{W}=\boldsymbol{W}^{Q} \boldsymbol{W}^{K^{\top}}$ とすると $S$ は以下のように 4 つの項の和となる。

$
S=\boldsymbol{x}^{m} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}+\boldsymbol{b}^{Q} \boldsymbol{W}^{K^{\top}} \boldsymbol{x}^{n^{\top}}+\boldsymbol{x}^{m} \boldsymbol{W}^{Q} \boldsymbol{b}^{K^{\top}}+\boldsymbol{b}^{Q} \boldsymbol{b}^{K^{\top}}
$

ここで，アテンション重みの大きさを決めるのは，同一クエリに対する異なるキー間でのスコアの差であることに留意し，式 (3) の第 1 項と第 2 項におけるキーベクトル $\boldsymbol{x}^{n^{\top}}$ の $j$ 次元目からの寄与 $C_{1 j}, C_{2 j}$ を考える：

$
C_{1 j}=\left(\sum_{i=1}^{d} x_{i}^{m} w_{i j}\right) x_{j}^{n}, \quad C_{2 j}=\left(\sum_{i=1}^{d^{\prime}} b_{i}^{Q} w_{i j}^{k}\right) x_{j}^{n}
$

このとき式 (3) の第 1 項，第 2 項は以下のように分解できる.

$
\begin{gathered}
\boldsymbol{x}^{m} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}=\sum_{i, j=1}^{d} x_{i}^{m} w_{i j} x_{j}^{n}=\sum_{j=1}^{d} C_{1 j} \\
\boldsymbol{b}^{Q} \boldsymbol{W} \boldsymbol{x}^{n^{\top}}=\sum_{j=1}^{d} \sum_{i=1}^{d^{\prime}} b_{i}^{Q} w_{i j}^{k} x_{j}^{n}=\sum_{j=1}^{d} C_{2 j}
\end{gathered}
$

$C_{1 j}$ と $C_{2 j}$ の和を $C_{j}$ とし, 全ての次元についてまとめたべクトル $\boldsymbol{C}=\left[C_{j}\right]$ は以下のように計算できる.

$
\boldsymbol{C}=\left(\boldsymbol{x}^{m} \boldsymbol{W}+\boldsymbol{b}^{Q} \boldsymbol{W}^{K^{\top}}\right) \odot \boldsymbol{x}^{n}
$

$\boldsymbol{C}$ の各成分を比較することで，アテンションスコアにおける各次元からの寄与がわかる。

## 4.2 実験の概要

モデルとして BERT-base (uncased) を，入力デー タとして STS-B dev データセットの sentence 1 から 100 文ランダムにサンプリングしたものを用いた. BERT-base（uncased）は全 12 層にそれぞれ 12 個のヘッドが存在する. これらのうち，第 $2,6,12$ 層について，全ての次元の $C_{j}$ の入力データ全文に対する平均値を求め，各層ごとにプロットしたものを図 4 亿示す. また，外れ値次元の $C_{j}$ の値をキートークンの種類（[CLS]，[SEP]，カンマ・ピリオド，その他の 4 種類）ごとに平均したものを表 1 に示す. なお，図 4 に示したもの以外の層についての $C_{j}$ のプロットは Appendix に掲載した。

## 4.3 結果

前半層図 $4 \mathrm{a}$ を見ると，全てのヘッドで 308 次元目の影響が正の方向に大きく働いていることがわかる。しかし, 表 1 を見ると，[CLS]，[SEP]，カンマ・ピリオドの間では $C_{308}$ の平均值に大きな差はないことが分かる．従って，外れ値次元の影響のみではなく，他の複数次元の影響が重なることで [CLS] にアテンションが集まっていると考えられる。

中間層図 $4 \mathrm{~b}$ を見ると，ほぼ全てのヘッドで 308 次元目の影響が負の方向に大きく働き，全てのへッドで 381 次元目の影響が正の方向に大きく働いていることがわかる．表 1 を見ると，キートークンが [SEP] である場合， 308 次元の負の影響が無く， 381

(a) Layer 2

(b) Layer 6

(c) Layer 12

図 4: 層ごとの全へッドにおける，アテンションスコアへの各次元からの寄与の分布

表 1 : キートークンの種類ごとの，外れ值次元における $C_{j}$ の平均値

次元目の正の影響が他の種類のトークンと比べて非常に大きいことがわかる. 従って外れ値次元の影響で [SEP] にアテンションが集まっていると言える。

後半層図 4cを見ると，全てのヘッドで 308 次元目の影響が負の方向に大きく働き，ほぼ全てのへッドで 180 次元目と 381 次元目の影響が正の方向に大きく働いていることがわかる. 表 1 を見ると， 381 次元目の値はどの種類のトークンもほぼ同程度だが，キートークンが [SEP] である場合， 308 次元目の負の影響が無いことがわかる。また，キートークンが [SEP] あるいはカンマ・ピリオドである場合， 180 次元目の正の影響が他の種類のトークンと比べ
て非常に大きいことがわかる．以上から Layer 12 では外れ值次元の影響で [SEP]，カンマ・ピリオドにアテンションが集まっていると言える.

## 5 まとめ

BERT の中間層において [SEP]，最終層において $[\mathrm{SEP}]$ およびカンマ・ピリオドに対しアテンションが集中するのは，外れ値次元の影響が非常に大きいことがわかった. 一方，前半層において [CLS] にアテンションが集中する現象は，外れ值次元の影響のみでは説明できなかった. これについては今後の課題としたい.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[3] Jesse Vig. A multiscale visualization of attention in the transformer model. In Marta R. Costa-jussà and Enrique Alfonseca, editors, Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 37-42, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Benjamin Hoover, Hendrik Strobelt, and Sebastian Gehrmann. exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformer Models. In Asli Celikyilmaz and Tsung-Hsien Wen, editors, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 187-196, Online, July 2020. Association for Computational Linguistics.

[5] Olga Kovaleva, Alexey Romanov, Anna Rogers, and Anna Rumshisky. Revealing the dark secrets of BERT. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 4365-4374, Hong Kong, China, November 2019. Association for Computational Linguistics.

[6] Kevin Clark, Urvashi Khandelwal, Omer Levy, and Christopher D. Manning. What does BERT look at? an analysis of BERT's attention. In Tal Linzen, Grzegorz Chrupa la, Yonatan Belinkov, and Dieuwke Hupkes, editors, Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pp. 276-286, Florence, Italy, August 2019. Association for Computational Linguistics.

[7] Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, and Kentaro Inui. Attention is not only a weight: Analyzing transformers with vector norms. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7057-7075, Online, November 2020. Association for Computational
Linguistics.

[8] Giovanni Puccetti, Anna Rogers, Aleksandr Drozd, and Felice Dell'Orletta. Outlier dimensions that disrupt transformers are driven by frequency. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 1286-1304, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[9] William Rudman, Catherine Chen, and Carsten Eickhoff. Outlier dimensions encode task specific knowledge. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1459614605, Singapore, December 2023. Association for Computational Linguistics.

[10] Ziyang Luo, Artur Kulmizev, and Xiaoxi Mao. Positional artefacts propagate through masked language model embeddings. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 5312-5327, Online, August 2021. Association for Computational Linguistics.

[11] Olga Kovaleva, Saurabh Kulshreshtha, Anna Rogers, and Anna Rumshisky. BERT busters: Outlier dimensions that disrupt transformers. In Chengqing Zong, Fei Xia, Wenjie Li, and Roberto Navigli, editors, Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3392-3405, Online, August 2021. Association for Computational Linguistics.

(a) Layer 1

(d) Layer 4

(g) Layer 7

(j) Layer 10

(b) Layer 2

(e) Layer 5

(h) Layer 8

(k) Layer 11

(c) Layer 3

(f) Layer 6

(i) Layer 9

(1) Layer 12

図 5: 全 12 層の層ごとの全ヘッドにおける，アテンションスコアへの各次元からの寄与の分布

## A 全 12 層におけるアテンションスコアへの次元ごとの寄与の分布

本文では扱えなかった層も含めた全 12 層の $C_{j}$ の分布図を掲載する. Layer 1 においてはまだ支配的な次元は存在していないと言える. Layer 2 と Layer 3 では 308 次元目の影響が正の方向に大きい. Layer 4 から 381 次元目の影響が正の方向に大きくなり始め, Layer 5 では 381 次元目は正の方向，308 次元目が負の方向にはたらく．その傾向が Layer 6 Layer 10 まで続いた後，Layer 11 から 180 次元目の影響が正の方向にはたらき始め, Layer 12 では 180 次元目・381 次元目が正の方向に，308 次元目が負の方向にはたらくことがわかる.