自己注意機構のアテンション重みが特定の種類のトークンに集中する現象と外れ値次元の関係

自己注意機構をその中核とするTransformer[1]アーキテクチャは，BERT[2]をはじめとするさまざまな言語モデルで用いられている．自己注意機構は，入力文の各トークンに対し，他のトークンとの関連度（アテンション重み）を計算し，関連が強いトークンを重視するように重みづけを行うことで出力ベクトルを計算している．従って，アテンション重みが平均的に大きいトークンは，他のトークンから大きな注目を集めていることになるため，アテンション重みを観察することで，モデル内部の挙動をある程度理解できる場合がある[3,4,5]．しかし，アテンション重みが平均的に大きいトークンは必ずしも文において重要なトークンというわけではない．実際にClarkら[6]は，BERTにおけるアテンション重みは，前半層では[CLS]，中間層では[SEP]，後半層ではカンマ・ピリオドといった内容語としての意味を持たないトークンに大きく割り振られることを示した．Kobayashiら[7]による，特殊トークンや句読点に対応するベクトルはノルムが小さい傾向にあるため，出力ベクトルを作る際のこれらのトークンからの最終的な寄与は小さいことがわかるという観察もあるが，モデル内部の挙動を知る手がかりとしてアテンションを利用するためには，意味を持たないトークンにアテンションが集まる原因についてさらに理解することが必要である．一方，BERTの各層が出力するベクトルには他の次元と比較して値の絶対値が非常に大きい次元（以降，「外れ値次元」と呼ぶ）が存在することが知られており，外れ値次元は，事前学習コーパスにおけるトークン頻度との相関があること[8]や，下流タスクの知識をエンコードしていること[9]，位置埋め込みや層正規化からの影響[10,11]などが明らかになっている．特に，Puccettiら[8]は，特定の層，特定の外れ値次元に着目した時に，アテンション重みの大きさと外れ値次元の値が相関している場合があることを示し，特定の種類のトークンへのアテンションの集中と外れ値次元の値との間に関係があることを示唆している．本研究では，外れ値次元において，特定の種類のトークンは他のトークンとの絶対値の差が大きいことを示す（§3）．さらに，BERTの出力ベクトルの各次元とアテンションの関係を定量的に分析することで，少数の外れ値次元がアテンションを決める上で支配的な影響を及ぼす場合があることを示す（§4）．これら2つの事実から，BERTが特殊トークンやカンマ・ピリオドへアテンション重みを大きく割り振る現象は，特定の少数次元の強い影響が原因であることがわかる．