アテンション (機械学習)
人工ニューラルネットワークにおけるアテンション(英: attention)は認知的な注意を模倣するように設計された手法である。注意機構(英: attention mechanism)とも呼ばれる。
アテンションは入力データのある部分を強化し他の部分を弱化する効果をもつ。その動機は、ネットワークが、データの小さくても重要な部分にもっと注意を払うべきということである。 データのどの部分が他の部分よりも重要であるかを文脈に依存できる柔軟性をもつ。これは実行時に固定されているべき標準的な重みとは対照的であり、実行時に変更可能な「ソフトウェイト」としての役割に由来する。
アテンションと類似する機構は、1990年代に以下の名前で提唱されている:
乗算モジュール(英: multiplicative modules)
シグマ・パイ・ユニット(英: sigma pi units)
ハイパーネットワーク
アテンションの応用先として以下が挙げられる:
ニューラルチューリングマシン(英語版)の記憶
微分可能ニューラルコンピュータ(英語版)の推論タスク
トランスフォーマー(Transformer)や長短期記憶(LSTM)での言語処理
パーシーバー(Perceiver(英語版))での多重モーダルデータ処理(音、画像、ビデオ、テキスト)