自己注意機構における注意の集中が相対位置に依存する仕組み

自己注意機構において各トークンは自身の周辺のトークンに注意を集中させる傾向がある．これにより，各トークンの出力ベクトルは周辺のトークンからの影響を受け，ニューラル言語モデルは文脈に依存した単語埋め込みを出力できると考えられる．本研究では，自己注意機構において各トークンが周辺のトークンに注意を集中させるメカニズムを分析する．結果として，自己注意機構は中間層の隠れ状態から位置埋め込みの成分をトークンの位置に関して周期的な波形として抽出し，その波形の位相がずれる方向に注意を集中させていることを示す．