アテンション (機械学習)
人工ニューラルネットワークの分野では、アテンション（）は、認知的な注意を模倣するように設計された手法である。その効果は、入力データのある部分を強化し、他の部分を弱化することである。その動機は、ネットワークが、データの小さくても重要な部分にもっと注意を払うべきということである。 データのどの部分が他の部分よりも重要であるかは文脈に依存し、勾配降下法によって訓練される。アテンションと類似する機構は、1990年代に、乗算モジュール、シグマ・パイ・ユニット、ハイパーネットワークなどの名前で紹介された。その柔軟性は、実行時に固定されているべき標準的な重みとは対照的に、実行時に変更可能な「ソフトウェイト」としての役割に由来する。アテンションの応用先として、の記憶、の推論タスク、トランスフォーマー（Transformer）や長短期記憶（LSTM）での言語処理、パーシーバー（）での多重感覚データ処理（音、画像、ビデオ、テキスト）などがある。後述する「別形」の項では、ソフトウェイト機構を実装するための多くの方式を一覧している。