自己注意機構において各トークンは自身の周辺のトークンに注意を集中させる傾向がある．これにより，各トークンの出力ベクトルは周辺のトークンからの影響を受け，ニューラル言語モデルは文脈に依存した単語埋め込みを出力できると考えられる．本研究では，自己注意機構において各トークンが周辺のトークンに注意を集中させるメカニズムを分析する．結果として，自己注意機構は中間層の隠れ状態から位置埋め込みの成分をトークンの位置に関して周期的な波形として抽出し，その波形の位相がずれる方向に注意を集中させていることを示す．

自然言語処理のタスクを高精度で実行するためには，文脈を捉えることが不可欠である．例えば，回帰型ニューラルネットは時系列順に単語埋め込みを入力することで，畳み込みニューラルネットは周辺の単語埋め込みを集約することで文脈を捉えている．一方，Transformer[1]には単語の位置に依存した処理がモデル内部に存在せず，代わりに単語埋め込みに位置埋め込みを加えたものを入力する．アテンション重み(式(4))を観察することは，自己注意機構の推論過程を解釈する手がかりとなる[2][3]．このような分析により，自己注意機構において各トークンは自身の周辺に注意を向ける傾向が確認されている[4]．この現象は，自己注意機構が位置に依存しない構造をしているにも関わらず，位置に基づいた推論をしていることを示している．本研究では，学習に基づく位置埋め込みを用いた自己注意機構に次の性質があることを示す．•自己注意機構は，学習された位置埋め込みに存在する周期性を隠れ状態から抽出できる．•時系列として見たクエリとキーの間には位相にズレが存在し，注意はこのズレの方向に向く．以上から，注意が相対位置に依存して集中する現象は，自己注意機構が位置埋め込み由来の周期的な成分を利用することで引き起こされていると言える．以下，本論文では，2節でTransformerとその派生モデルの構成について，3節で注意が相対位置に依存するメカニズムについて述べる．具体的には，まず，注意が相対位置に依存する事実と位置埋め込みの周期性を確認する．次に，自己注意機構内のクエリとキーの共通点と相違点を分析し，それらと注意の方向の関係を示す．最後に，4節で結論を述べる．