言語処理学会 第26回年次大会 発表論文集 (2020年3月)

ベクトル⻑に基づく自己注意機構の解析
小林 悟郎 1
1

栗林 樹生 1,2

東北大学

2

横井 祥 1,3

鈴木 潤 1,3

Langsmith 株式会社3

乾 健太郎 1,3

理化学研究所{goro.koba,kuribayashi,yokoi,jun.suzuki,inui}@ecei.tohoku.ac.jp
1

はじめに出力ベクトル

BERT をはじめ自己注意機構 (self-attention mechanism)を基盤とした深層ニューラルネットが幅広い NLP タスクで成功を収めている [4, 10, 11, 13]．とくに近年は，モデルの成功

𝒚%

𝒚$

𝒚#

𝒚"

⾜し合わされるベクトル
𝛼#,& 𝑓 𝒙& 𝛼#,% 𝑓 𝒙% 𝛼#,$ 𝑓 𝒙$ 𝛼#,# 𝑓 𝒙# 𝛼#," 𝑓 𝒙"の理由を理解するため，またモデルが捉える言語現象を確かめるため，自己注意機構自体の分析が盛んに取り組まれている

重み

𝛼#,&

𝛼#,%

𝛼#,$𝛼#,#𝛼#,"

変換後のベクトル

𝑓 𝒙&

𝑓 𝒙%

𝑓 𝒙$

𝑓 𝒙#

𝑓 𝒙"

入力ベクトル𝒙&𝒙%

𝒙$𝒙#𝒙"[2, 8, 9]．自己注意機構は入力ベクトル列の中から特に必要なベクトルに注目し，ここから情報を集めて新たなベクトルを作る役割を担う．具体的には，入力系列の各入力ベクトルをアフィン変換した上で重み付け和をし出力ベクトルを作る（図1）．
自己注意機構の分析における主たる関心事も「ある出力ベクトルを作るためにどの入力ベクトルが注目されているか」であ𝒚&𝒃,バイアスり，これを調べるために各入力に割り振られるアテンション重

図1: 自己注意機構の概要．変換・重みづけしたベクトルを足し合わせることで出力ベクトルを作る．ベクトルに対応した円の大きさはベクトル⻑を指す．

み（図1， 重み ）の大小が確かめられてきた [2, 3, 8, 9, 12]．

ションの「ゴミ箱」のような役割をしていることが示唆された．

アテンション重みの大小の分析は直感的ではあるが，ここでは入力ベクトルの大きさや自己注意機構におけるアフィン変換

本研究の貢献は以下の通りである．

• 自己注意機構の挙動について，これまで考慮されてこなかっの影響（図1， 変換後のベクトル の大きさ）は考慮されない．

た 変換後のベクトル を考慮する分析方法を提案した．

結果として，アテンション重みの大小と実際に足し合わされる• BERT の自己注意機構を分析し，[CLS] などの特殊トークンベクトル（図1， 足し合わされるベクトル ）の大小には乖離がではアテンション重みと変換後のベクトルの大きさが打ち消生まれ得る．言い換えれば，「足し合わせ」をおこなう機構がどしあう傾向にあることを示した．の入力を重く足し合わせているかについて分析したいにも関わらず，実際に足し合わされているベクトルの大きさとは全く異関連研究

2なる量が分析されている可能性がある（4節）．例えば図 1中の多くの既存研究では，自己注意機構を基盤としたモデルとし𝒚4 を作る際，従来通りアテンション重みの観察に基づくと 𝒙1て，BERT などの事前学習言語モデルを分析の対象としていに大きく注目が集まっているように見えるが，実際に完成する

る．事前学習言語モデルの分析アプローチは大きく三つある．

ベクトルには 𝒙1 はほとんど寄与しておらず，もっとも寄与し一つは，モデルの埋め込みや中間表現から，対象となる言語ているのは 𝒙3 である．

現象の情報を復元可能かを検証する試みである．この方法を用

上述の問題に対処するため， 変換後のベクトル と 重み のいた先行研究では，例えば，BERT の中間表現から統語構造や両者を考慮した 足し合わされるベクトル の大きさによって各意味情報が高い精度で復元可能であることから，BERT はそれ入力ベクトルが出力ベクトルに寄与する度合いを測ることを提らの言語的性質を捉えていると報告されている [3, 5, 7]．

案する．実験セクションでは，自己注意機構を基盤としたモデ

もう一つは，入力ベクトルやアテンション重みが出力ベクトルとして BERT[4] に焦点を当て，自己注意機構全体の分析をルや損失関数に与える影響を勾配によって測る試みである．こ行う．実験から，自己注意機構におけるアフィン変換が入力ベの方法を用いた先行研究では，BERT の中間層において，[SEP]クトルの特定の情報を拡大・縮小する作用を持つこと，重みがに対応するアテンション重みは，穴埋め言語モデルの損失関数同じでも変換後のベクトルの大きさに分散があることを示す．にあまり影響を及ぼさないことなどが報告されている [1, 2]．

これらの結果より，自己注意機構における，アテンション重みからは推定できない作用の存在が示唆される．

自己注意機構が割り振る 重み に着目する分析も，典型的なアプローチの一つである．この方法を用いた先行研究では，次に，ベクトルの大きさに注目した分析結果と従来のアテンション重みに基づく分析結果の差異について分析する．アテンBERT は特殊トークンに対応するベクトルに大きな重みを割り振る傾向があることや，BERT および RoBERTa には特定ション重みによる分析結果では，出力ベクトルに対する特殊トの依存関係に対応する部分に大きな重みを割り振るヘッドが存ークンの寄与が大きいという直感に反する傾向が見られていた在することが報告されている [2, 8, 9]．本研究では，割り振らが，ベクトルの大きさに注目した分析では，特殊トークンの寄れた重みから自己注意機構の挙動を分析する方法に対する指摘

与は小さかった．このことから，特殊トークンはある種アテンと新たな分析方法を提示する．

― 965 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

3

準備：自己注意機構

3.1

自己注意機構の概略

表1: BERT における変換後のベクトルの大きさ ‖𝑓(𝒙)‖ のばらつきの度合い

ヘッド

自己注意機構は入力ベクトルの組 {𝒙1 , … , 𝒙𝑛 } ⊆ R𝑑 から，各出力ベクトル 𝒚𝑖 ∈ R𝑑 を次のように計算する*1 ：𝒒(𝒙) ∶= 𝒙𝑾+𝒃(𝑾𝑄∈R

12.66 0.96
6.15 1.35
18.64 0.10

アテンション重みを測る既存手法と提案手法を

𝒒(𝒙𝑖 )𝒌(𝒙𝑗 )⊤√𝛼𝑖,𝑗 ∶= softmax ()∈R
𝑗𝑑′
𝑄

0.37
0.120.34(1)

𝑗=1𝑄

1.59
0.501.75

実験5𝑛𝒚𝑖 = (∑ 𝛼𝑖,𝑗 𝒗(𝒙𝑗 )) 𝑾 𝑂 + 𝒃𝑂 ∈ R𝑑

平均 標準偏差 変動係数 最大値 最小値

2 層 4 ヘッド（変動係数最大）4.26
2 層 7 ヘッド（変動係数最小）3.40
全ヘッド
5.15

𝑑×𝑑′(2)
𝑄𝑑′,𝒃 ∈R )𝑑×𝑑′(3)𝑑′𝒌(𝒙) ∶= 𝒙𝑾 𝐾 + 𝒃𝐾

(𝑾 𝐾 ∈ R𝒗(𝒙) ∶= 𝒙𝑾 𝑉 + 𝒃𝑉

(𝑾 𝑉 ∈ R𝑑×𝑑 , 𝒃𝑉 ∈ R𝑑 ), 𝒃𝐾 ∈ R )′(4)′(5)Query ベクトル 𝒒(𝒙𝑖 ) と Key ベクトル 𝒌(𝒙𝑗 ) から重み𝛼𝑖,𝑗 を計算し，Value ベクトル 𝒗(𝒙𝑗 ) を重み付け和し，最後′に 𝑾 𝑂 ∈ R𝑑 ×𝑑 ，𝒃𝑂 ∈ R𝑑 によるアフィン変換を加える．なお，Transformer および BERT などの事前学習言語モデルでは，この自己注意機構（“ヘッド”）を並列に並べ，各ヘッドの用 い て BERT の 自 己 注 意 機 構 を 分 析 す る．5.2節 では 既 存 手 法 が 無 視 し て き た 影 響 に つ い て，5.3節 では 重み と 変換後のベクトル の関係について調査する．5.4節
では， 重み と 足し合わされるベクトル の関係を調査し，これまでの検証で得られていた知見を再検証する．

5.1

実験設定

■ モデル

解 析 が 最 も 盛 ん な 事 前 学 習 済 み の BERT-base（uncased）*2 を用いた．BERT-base は 12 層から構成され，各層は 12 個の自己注意機構（ヘッド）を持つため，モデル全体
では 144 個の自己注意機構を持つ．
■ データ

BERT の挙動を分析するためのテキストデータと出力ベクトルを足し合わせるマルチヘッド自己注意機構が使わして，先行研究 [2] が公開している 992 の入力系列を用いた．各れている．

入力系列には，英語 Wikipedia から抽出した二つの連続したパ3.2ラグラフが以下の形式で格納されている：[CLS] paragraph1

自己注意機構は変換したベクトルを足し合わせる機構

式1は，行列積 𝑾

𝑂の線形性から，次のように変形できる．

[SEP] paragraph2 [SEP]．系列に含まれるトークン数は，最小 18，最大 128，平均 122.11 である．

𝑛𝒚𝑖 = ∑ 𝛼𝑖,𝑗 𝒗(𝒙𝑗 )𝑾 𝑂 + 𝒃𝑂

(6)

𝑗=1

5.2

重みを分析する既存手法が無視するもの

式 8の 𝑓(𝒙) の大きさ（以降，‖𝑓(𝒙)‖）がおおよそ一定なら，𝑛= ∑ 𝛼𝑖,𝑗 𝑓(𝒙𝑗 ) + 𝒃𝑂

(7)

重み 𝛼 は実際に足し合わされるベクトル 𝛼𝑓(𝒙) の大きさ（以降，‖𝛼𝑓(𝒙)‖）の良い近似となる．しかし，もし ‖𝑓(𝒙)‖ が大小𝑗=1𝑓(𝒙) = (𝒙𝑾 𝑉 + 𝒃𝑉 ) 𝑾 𝑂(8)様々な値を取るなら，重み 𝛼 と実際に足し合わされるベクトル

図1の自己注意機構の概要は式 7に基づく．式7より，自己注意の大きさ ‖𝛼𝑓(𝒙)‖ の間には大きな乖離が生まれることになる．

機構は各入力ベクトル 𝒙 を 𝑓 で変換して 𝑓(𝒙) を作った後，■ ‖𝑓(𝒙)‖ のばらつきの度合い計算した重み 𝛼 をかけた 𝛼𝑓(𝒙) をバイアス 𝒃𝑂と共に足し事前学習済みの BERT-base に 992 系列を入力し，各ヘッドに合わせる機構とみなせる．

4‖𝑓(𝒙)‖ のばらつき具合を調べるため，‖𝑓(𝒙)‖ の変動係数（ 標準偏差）の大きさを調査した．
平均おける ‖𝑓(𝒙)‖ の変動係数を求めた．変動係数が最大となるヘ提案手法：足されるベクトルの大きさの分析

ッド，最小のヘッドにおける変動係数と，全ヘッドにおける変自己注意機構を分析する先行研究では，「各入力にどれほど動係数を表1に示す．表1より，‖𝑓(𝒙)‖ には変動係数で 0.34 (ヘ重みが割り振られたか」を見ることで機構がどの入力を重く足ッド平均) のばらつきがある．これは，‖𝑓(𝒙)‖ の値が平均のおし合わせているかを分析できるという暗黙の仮定をおき，重よそ 0.66 倍から 1.34 倍の値を容易にとり得ることを意味し，み 𝛼 の大きさを分析している [2, 3, 8, 9, 12]．式 7より，こ無視できないばらつきであることが示唆される．このことは，の手法では変換後のベクトル 𝑓(𝒙) の影響が無視されている．

‖𝑓(𝒙)‖ の最大値と最小値の比較からも見てとれる (表1)．以降の段落では，‖𝑓(𝒙)‖ のばらつきの要因を探るため，（i）‖𝒙‖ のばらつきの度合いと，（ii）𝑓 による拡大・縮小作用に焦点を当

本稿では，実際に足し合わされるベクトル 𝛼𝑓(𝒙) の大きさをL2 ノルムで計算することで，重み 𝛼 に加えて変換後のベクトル 𝑓(𝒙) の影響も考慮して，各入力ベクトルが出力ベクトルに寄与する度合いを測る分析方法を提案する．5.2節では，𝑓(𝒙)てて分析を行う．
■ ‖𝒙‖ のばらつきの度合い‖𝒙‖ のばらつきの度合いを変動の作用について分析し，この作用が入力の足し合わせ具合に大係数の大きさから確かめる．実験設定は，‖𝑓(𝒙)‖ の変動係数きな影響をもち得ることを示す．の分析時と同様である．‖𝒙‖ の変動係数を表2に示す．‖𝒙‖ にもばらつきが存在するものの，‖𝑓(𝒙)‖ の変動係数 (表3) と比較すると，‖𝒙‖ のばらつきは比較的小さいことが分かる．このことから，𝑓 に拡大・縮小作用があることが示唆される．
*2 https://github.com/huggingface/transformersの実装を用いた．

*1 なお，本稿ではベクトルは横ベクトルとしている．

― 966 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表2: BERT における入力ベクトルの大きさ ‖𝒙‖ のばらつきの度合い

層平均 標準偏差 変動係数 最大値 最小値

12（変動係数最大）20.497（変動係数最小） 21.64
全層19.93

4.62
1.40
3.03

0.23
0.06
0.15

32.84 4.13
23.03 11.87
32.84 4.13

図3: 重み 𝛼 と変換後のベクトルの大きさ ‖𝑓(𝒙)‖ の関係．同じ 𝛼 が割り振られていても ‖𝑓(𝒙)‖ には分散があることがわかる．
表3: 𝛼 と ||𝑓 (𝒙)|| のベクトルの種類ごとのスピアマンの順位相関係数

図2: BERT-base のランダムな自己注意機構における変換 𝑓 の特異値

■ 𝑓 による拡大‧縮小作用 関数 𝑓 が入力 𝒙 をどの程度拡大・小の作用は線形変換の特異値を見れば確かめることができる[6]．実際に事前学習済みの BERT-base から自己注意機構（ヘッド）をランダムに選択し*4 ，各ヘッドにおける変換 𝑓 の特異値を降順に並べた結果を図2に示す．いずれのヘッドにおいても，𝑓 によって入力が最も拡大される場合と最も縮小される場
合とでは，拡大率に少なくとも 1.8 倍以上の差があることが分かる．すなわち，BERT の内部では変換 𝑓 によって ‖𝑓(𝒙)‖ の値に大きなばらつきが生まれている．このことから，重み 𝛼 と実際に足し合わされるベクトルの大きさ ‖𝛼𝑓(𝒙)‖ の間には大きな乖離があることが分かる．

5.3

この節では，アテンション重み 𝛼（既存手法）と ‖𝑓(𝒙)‖（既存手法が無視している部分）の関係を確かめる．
結果，同じ程度の 𝛼 に対して ‖𝑓(𝒙)‖ は大きくばらつくこと，また一部のトークンでは 𝛼 と ‖𝑓(𝒙)‖ の大小が逆転する傾向にあることが確かめられた．すなわち，𝛼 を見るだけでは実際に足し合わされるベクトルの大きさ ‖𝛼𝑓(𝒙)‖ は推察できないと考えられる．
■ 実験設定 全系列をモデルに入力し，モデル内の全自己注意機構で 𝛼 と ‖𝑓(𝒙)‖ 確認する．

𝛼 と ‖𝑓(𝒙)‖ の組をトークン種別ごとに 1% ずつ乱択し図3に示した．図3より，同じ重み 𝛼 が割り振られていても変換後のベクトルの大きさ ‖𝑓(𝒙)‖ にはばらつきがある（大■ 結果きな値も小さな値も取りうる）ことがわかる．すなわち，重𝒙1 ] ∈ R𝑑+1 とすると，アフィン変換 𝑓 は次の線形変換 𝑓 ̃ と同一視できる．

̃ 𝒙) = 𝒙̃𝑉 𝑾̃𝑂̃𝑾𝑓(̃⎡̃𝑉 ∶= ⎢𝑾⎢⎣𝑾𝑉̃𝑂 ∶= ⎡𝑾⎢⎣ 0𝑾𝑂𝒃𝑉…

17,443,296
34,886,592
182,838,528
1,944,928,224-0.34-0.69-0.25-0.06

み 𝛼 を見るだけでは，自己注意機構が実際に足し合わせるベクトルの大きさ ‖𝛼𝑓(𝒙)‖ を推定することは難しい．
加えて，全体として 𝛼 と ‖𝑓(𝒙)‖ には反比例の関係が見て取れる．トークン種別ごとの両者の順位相関係数を表3に示す．
特殊トークンである [CLS] および [SEP] とカンマ・ピリオドに対応するベクトルでは負の相関が高いことがわかる．たしかに図3からも，これらの特殊トークンは比較的大きな 𝛼 を持つが ‖𝑓(𝒙)‖ が小さいことが見て取れる．これらの特殊トークンの果たす役割については次の節で詳しく述べる．
次に，𝛼 と ‖𝑓(𝑥)‖ がとりわけ強い負の相関を持つ [SEP] トそれぞれにおいて，系列内の全ての [SEP] トークンに対応するベクトルに割り振られる重み 𝛼 の合計値を全系列で平均したものである．図4bは ‖𝑓(𝒙)‖ の値を，入力データに含まれる全ての [SEP] トークンに対応するベクトルに関して平均したものである．両図では，縦が層を表し，横にその層内の自己注意機構が並んでいる．各マスでは色が濃いほど値が大きいことを表す．図4より，[SEP] トークンに対応するベクトルでは，割り振られる重み 𝛼 と変換後のベクトルの大きさ ‖𝑓(𝒙)‖ の大小関係が逆転していた．また，𝛼 と ‖𝑓(𝒙)‖ のどちらか一方が非常に小さい値を取る傾向にあることがわかる．[CLS] およびピリオド・カンマに対応するトークンでも，同様の傾向が見られた．
その他のベクトルでは，強い傾向は見られなかった．これより，これらのトークンに対応するベクトルでは， 𝛼 と ‖𝑓(𝒙)‖ の片方がもう片方を打ち消してしまうため，足し合わされるベクトルの大きさ ‖𝛼𝑓(𝒙)‖ は小さくなりやすいと言える．
実験 3: アテンション重み 𝛼 と ‖𝛼𝑓(𝑥)‖ の関係
5.3節で述べたように，BERT の自己注意機構は特定のトークンに対応するベクトルにおいて，重み 𝛼 と ‖𝑓(𝒙)‖ が打ち消し合う傾向がある．この節では，重み 𝛼 がこれらのベクト5.4(9)0′⋮ ⎤∈ R(𝑑+1)×(𝑑 +1)
0 ⎥
⎥
1 ⎦0′
⋮ ⎤
∈ R(𝑑 +1)×(𝑑+1)
0 ⎥
0 1 ⎦

[CLS]
[SEP]

スピアマンークンについて詳細に分析した．図4aは 144 個の自己注意機構

実験 2: アテンション重み 𝛼 と ‖𝑓(𝑥)‖ の関係*3 各ベクトル 𝒙 の末尾に 1 を加えて 𝒙̃ ∶= [ベクトル数

カンマ・ピリオド
その他縮小するかを確認する．一般にアフィン変換 𝑓 ∶ R𝑑 → R𝑑 は線形変換 R𝑑+1 → R𝑑+1 と同一視できるので*3 ，その拡大・縮種類(10)

ルに偏る傾向があるにも関わらず，これらのベクトルの寄与(11)‖𝛼𝑓(𝒙)‖ は小さいことを述べる．結論として，入力ベクトル全体に集めたい情報がない場合に，ある種のゴミ箱（重みの逃げ*4 12 層それぞれから各 1 ヘッドをランダムに選択した．

― 967 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

1[CLS]. or ,Avg. 𝛼0.8[SEP]Other

0.60.40.2(a) 系列内で [SEP] トークンに対応する(b) [SEP] トークンに対応するベクトルベクトルに割り振られる 𝛼 の合計値の平均の ‖𝑓(𝒙)‖ の平均

0123454

全 992 系列をモデルに入力し，モデル内の各自己注意機構において割り振られる重み 𝛼 と足し合わされるベ

89[CLS]. or ,Avg. ‖𝛼𝑓(𝒙)‖3

クトルの大きさ ‖𝛼𝑓(𝒙)‖ を対応するトークンの種類ごとに取り出し，層ごとに平均した．各入力系列には，[CLS] が１個，[SEP] が２個，ピリオドとカンマが合わせて平均約 10 個，その他のトークンが平均約 109 個含まれている．クラークら [2]に従い，各系列内でそれぞれの種類のトークンに対応するベク

10 11 1221123に，中間層で [SEP] に，後半層でピリオドおよびカンマに対応するベクトルに大きな重み 𝛼 を割り振ることがわかる（以45678910 11 12Layer

大きさ ‖𝛼𝑓(𝑥)‖ をそれぞれ合計し，全系列で平均した．
図5aより，BERT の自己注意機構は前半層で [CLS][SEP]Other0トルに割り振られる重み 𝛼 および足し合わされるベクトルの■ 結果

7(a) アテンション重み 𝛼 の層平均（既存手法）先）としてこれらのベクトルが使われていることが推測された．
■ 実験設定6Layer

図4: [SEP] トークンに対応するベクトルのヘッド毎の分析結果(b) 足されるベクトルの大きさ ‖𝑓(𝒙)‖ の層平均（提案手法）
図5: 既存手法と提案手法の分析結果．𝛼 は特定のトークンに対応するベクトルに強く割り振られる傾向があるが，それらからの ‖𝑓(𝒙)‖ は大きくないことがわかる．

降，[CLS]，[SEP]，ピリオド，カンマに対応するベクトルを𝒙special ，その他のベクトルを 𝒙other とする）．特に 5 層目以降
では，𝒙special に対する重み 𝛼 が，その他のベクトルに割り振のトークンに対する特殊な挙動を報告した．

られる重みよりも大きく，全体の半分以上を占めることがわかているとされてきた言語現象を本当に捉えているのかを確認す

る．この結果は，先行研究 [2, 9] の結果と一致する．

るという方向が考えられる．また，事前学習言語モデルの自己今後の方向性として，既存手法を用いて行われてきた分析を提案手法により再実験し，自己注意機構ベースのモデルが捉え一方で，図5bより，ベクトル 𝒙special から足されるベクトル

注意機構以外の部分（フィードフォワードネットワークや残差の大きさ ‖𝛼𝑓(𝒙special )‖ は小さいことが分かる．𝒙other から足接続など）についても解析的に分析することで，モデル全体でされるベクトルの大きさ ‖𝛼𝑓(𝒙other )‖ の合計の方がはるかに入力から出力にどのように情報が流れるのかを把握することも大きく，重みの結果とは大小関係が大きく異なっていた．これ興味深いと考えられる．

より，BERT のほとんどの層では自己注意機構が特定のトーク

謝辞 本研究は JSPS 科研費 JP19H04162 の助成を受けたものンに対応するベクトルに大きな重みを割り振る傾向があるにもです。

関わらず，それらのベクトルの寄与は小さいことがわかった．
式1，2より，自己注意機構は出力ベクトルを作る際に，各入力ベクトルに対して重み 𝛼 を合計が 1 になるように割り振る．したがって，入力に集めたい情報が少なく，出力ベクトル 𝒚𝑖 を小さくしたい場合には，変換後のベクトルの大きさ ‖𝑓(𝒙)‖ が小さい入力ベクトル 𝒙 に重み 𝛼 を割り振る必要がある．BERT

参考文献
[1]
[2]
[3]
[4]

では，[CLS]，[SEP]，ピリオド・カンマといった，ほとんど[5]全ての入力系列で出現し，意味を多く持たないようなトークン[6]に対応するベクトルが小さい ‖𝑓(𝒙)‖ をもち，ある種のアテン[7]ションのゴミ箱のような役割を担っていたことが推測される．

[8]

6

[9]

おわりに

[10]

本稿では，自己注意機構がどの入力を重く足し合わせている[11]

かは，重み 𝛼 を用いた既存手法では分析できないことを示した．

[12]

そこで，実際に足し合わされるベクトルの大きさ ‖𝛼𝑓(𝒙)‖ を[13]測るという手法を提案し，提案した手法を用いて BERT の自G. Brunner et al. “On Identifiability in Transformers”. In: ICLR. 2020.
K. Clark et al. “What Does BERT Look At? An Analysis of BERT’s Attention”.
In: ACL Workshop BlackboxNLP. 2019, pp. 276–286.
A. Coenen et al. “Visualizing and Measuring the Geometry of BERT”. In: arXiv
preprint arXiv:1906.02715 (2019).
J. Devlin et al. “BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding”. In: NAACL-HLT. 2019, pp. 4171–4186.
Y. Goldberg. “Assessing BERT’s Syntactic Abilities”. In: arXiv preprint
arXiv:1901.05287 (2019).
G. H. Golub and C. F. Van Loan. Matrix Computations. Fourth Edition. The
Johns Hopkins University Press, 2013.
J. Hewitt and C. D. Manning. “A Structural Probe for Finding Syntax in Word
Representations”. In: NAACL-HLT. 2019, pp. 4129–4138.
P. M. Htut et al. “Do Attention Heads in BERT Track Syntactic Dependencies?”
In: arXiv preprint arXiv:1911.12246 (2019).
O. Kovaleva et al. “Revealing the Dark Secrets of BERT”. In: EMNLP-IJCNLP(2019), pp. 4364–4373.
Z. Lan et al. “ALBERT: A Lite BERT for Self-supervised Learning of Language
Representations”. In: ICLR. 2020.
Y. Liu et al. “RoBERTa: A Robustly Optimized BERT Pretraining Approach”.
In: arXiv preprint arXiv:1907.11692 (2019).
P. Michel et al. “Are Sixteen Heads Really Better than One?” In: NIPS. 2019,
pp. 14014–14024.
Z. Yang et al. “XLNet: Generalized Autoregressive Pretraining for Language
Understanding”. In: NIPS. 2019, pp. 1–18.

己注意機構を分析することで，既存手法とは異なる結果と特定― 968 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.