アテンション (機械学習)
ソフトウェイトを実装したアテンションには様々な変種が存在する。一例として以下が挙げられる:
加法アテンション(英: additive attention): 別名Bahdanau Attention
乗法的アテンション(英: multiplicative attention): 別名Luong Attention
自己アテンション(英: self-attention)
畳み込みニューラルネットワークの場合、アテンション機構は、それが作用する次元、すなわち空間アテンション、チャネルアテンション、またはその両方の組み合わせによって区別することもできる。
これらの別形は、エンコーダ側の入力を組み替えて、その効果を各ターゲット出力に再分配するものである。多くの場合、ドット積の相関風の行列が再重み付け係数を提供する(凡例を参照)。