アテンション (機械学習)
アテンションを中心としたモデルとして Transformer が存在する。Transformerは同一層内に複数の独立した重み行列を持つ(Transformer#マルチヘッドアテンション)。
Transformerのスケール化内積アテンション
Perceiver(英語版) - クエリ・キー・バリュー(QKV)のためのアテンション