アテンション (機械学習)
y i = A t t e n t i o n ( q i , K , V ) = ∑ k g ( q i , k k ) v k = ∑ k f ( c i , x k ) h ( x k ) {\displaystyle {\boldsymbol {y_{i}}}=Attention({\boldsymbol {q}}_{i},K,V)=\sum _{k}g({\boldsymbol {q}}_{i},{\boldsymbol {k}}_{k}){\boldsymbol {v}}_{k}=\sum _{k}f({\boldsymbol {c}}_{i},{\boldsymbol {x}}_{k})h({\boldsymbol {x}}_{k})}
最初の概念式とほぼ同様の形である一方、入力をバリューへ変換したうえで和を取れる柔軟性が追加されている。
この概念を実際に機能する演算とするうえで、以下の具体化をおこなう。まず、 w i k {\displaystyle w_{ik}} の大きさに制約がないと無限長の入力列に対し出力ベクトルが発散してしまうため、ソフトウェイトは非負かつ出力ベクトルごとに総和1( ∑ k w i k = 1 {\textstyle \sum _{k}w_{ik}=1} )の制約が課される。この制約内でクエリとキーの一致度を測る関数(クエリ・キー機構、英: query-key mechanism)を具体的に定義するが、これには様々なバリエーションが存在する。ドット積 q i ⋅ k k {\displaystyle {\boldsymbol {q}}_{i}\cdot {\boldsymbol {k}}_{k}} にソフトマックス関数を適用した形が代表例である。