Transformer (機械学習モデル)
注意機構(英: attention mechanism)またはアテンション(英: Attention)は系列信号の重み付き統合である。
アテンションの基本は次のモデル式で表される。
z = Σ w ( i ) v ( i ) {\displaystyle {\boldsymbol {z}}=\Sigma w(i){\boldsymbol {v}}(i)}
系列信号に対し、 i {\displaystyle i} 番目の信号 x i {\displaystyle {\boldsymbol {x_{i}}}} からベクトル値 v ( i ) {\displaystyle {\boldsymbol {v}}(i)} とスカラ重み w ( i ) {\displaystyle w(i)} を計算し、系列全長にわたって重み付け和したものがアテンションである。系列の特定時刻に大きな重みを置くことを動物における注意に例えてアテンションと名付けられた。アテンション z {\displaystyle {\boldsymbol {z}}} はベクトルの和で求められるため系列長に関わらず同じshapeを持ち、また v ( i ) {\displaystyle {\boldsymbol {v}}(i)} と w ( i ) {\displaystyle w(i)} は動的に算出される。ゆえにアテンションは可変長系列を入力に取れる。