アテンション (機械学習)
これにより入力列全体を各出力ベクトルへ直接取り込みつつ、重みの動的計算によって任意長のベクトル列を扱える。すなわち「任意長の列を列に変換する際、各位置の入力を直接取り込むモジュール」として機能している。
このアテンションは別の観点から捉え直すことができる。アテンションでは入力 x k {\displaystyle {\boldsymbol {x}}_{k}} をベースとして、足される値 v k {\displaystyle {\boldsymbol {v}}_{k}} (バリュー)とそれを要約した識別子 k k {\displaystyle {\boldsymbol {k}}_{k}} (キー)を用意している。さらに各出力に紐づいた関連情報をベースとして照会ベクトル q k {\displaystyle {\boldsymbol {q}}_{k}} (クエリ)を用意し、クエリとキーの一致度に基づいてバリューの重み=取り込む量を決定していると捉えられる。すなわち次の概念式に相当する: