自己注意機構のアテンション重みが特定の種類のトークンに集中する現象と外れ値次元の関係

BERTの自己注意機構は一部の層で[CLS]・[SEP]といった特殊トークンや，カンマ・ピリオドに大きなアテンション重みを割り振るという現象が知られている．一方，BERTの各層での出力ベクトルには他の次元と値の絶対値が大きく離れている次元（外れ値次元）が存在することが知られている．本研究では，外れ値次元と特定の種類のトークンへのアテンションの集中という現象の関係を定量的に分析する．結果として，一部の層では少数の外れ値次元がアテンションの集中を決める支配的な要因になっており，その影響で特定の種類のトークンに割り振られるアテンション重みが大きくなることを数値的に示す．