アテンション (機械学習)

人工ニューラルネットワークにおけるアテンション（英: attention）は認知的な注意を模倣するように設計された手法である。注意機構（英: attention mechanism）とも呼ばれる。 アテンションは入力データのある部分を強化し他の部分を弱化する効果をもつ。その動機は、ネットワークが、データの小さくても重要な部分にもっと注意を払うべきということである。 データのどの部分が他の部分よりも重要であるかを文脈に依存できる柔軟性をもつ。これは実行時に固定されているべき標準的な重みとは対照的であり、実行時に変更可能な「ソフトウェイト」としての役割に由来する。 アテンションと類似する機構は、1990年代に以下の名前で提唱されている： 乗算モジュール（英: multiplicative modules） シグマ・パイ・ユニット（英: sigma pi units） ハイパーネットワーク アテンションの応用先として以下が挙げられる： ニューラルチューリングマシン（英語版）の記憶 微分可能ニューラルコンピュータ（英語版）の推論タスク トランスフォーマー（Transformer）や長短期記憶（LSTM）での言語処理 パーシーバー（Perceiver（英語版））での多重モーダルデータ処理（音、画像、ビデオ、テキスト） アテンションは次の役割を果たすモジュールとして設計されている： seq2seq: 入力ベクトル列を出力ベクトル列へ変換する 長距離依存の考慮: インデックス i {\displaystyle i} が離れた入出力を結びつける 任意長ベクトル列の変換: 推論ごとに異なる長さの入力列を処理する 高い並列処理能力: 学習・推論の高速化 例えば機械翻訳を考える。機械翻訳タスクでは単語の単純置換（日→英）では目的を達成できない。なぜなら日英で語順が異なるからである。すなわち入力単語ベクトル列を出力単語ベクトル列に変換する際、列を列へ変換する必要がある（seq2seq）。また列内の近い部分のみの参照では不十分なケースがある。例えば疑問文の日英翻訳において、文頭の "Do" ( i = 0 {\displaystyle i=0} ) を生成するには日本語原文の文末「か？」( i = L {\displaystyle i=L} ) を参照する必要がある。すなわち長距離依存性を考慮できる必要がある。また文章長は一定でないため、任意長の入力を扱える必要がある。そして長いベクトル列を巨大なモデルで実務的に学習するには高い並列処理能力が求められる。 例えばフィードフォワードモジュールは時間方向の重みによってseq2seqに利用できるが、重みが一定数であるため任意長ベクトル列を扱うことができない。畳み込みモジュールは任意長のseq2seqに利用できるが、長距離依存性を扱うには巨大なカーネルか多くの層を必要とする。回帰モジュールは3つの要件を理論上は満たせるが、ステップごとの回帰の中で長期依存情報が失われることが実務的に知られている（参考: RNN#Copyingタスク）。 この要件は機械翻訳を含む自然言語処理に限らず、画像内の離れた位置にある対象を参照したい画像認識や、音高の時間的な変動を捉えたい音声合成など、幅広いタスクで求められていた。このような背景から「任意長の列を列に変換する際、各位置の入力を直接取り込むモジュール」として提唱・活用されているのがアテンション機構である。 アテンションは「入力ベクトル列のクエリ依存動的重みづけ和」に相当する演算である。 アテンションでは各入力ベクトル x k {\displaystyle {\boldsymbol {x}}_{k}} の重みづけ和を i {\displaystyle i} 番目の出力ベクトル y i {\displaystyle {\boldsymbol {y}}_{i}} とする。このとき、重みは単なる固定値ではなく動的に計算される（ソフトウェイト）。動的な計算は、 i {\displaystyle i} 番目の出力に紐づく情報を表現した関連ベクトル c i {\displaystyle {\boldsymbol {c}}_{i}} と取り込まれる入力ベクトル自身に基づく。情報の流れを表現する概念式としては以下に相当する： y i = ∑ k w i k x k = ∑ k f ( c i , x k ) x k {\displaystyle {\boldsymbol {y_{i}}}=\sum _{k}w_{ik}{\boldsymbol {x}}_{k}=\sum _{k}f({\boldsymbol {c}}_{i},{\boldsymbol {x}}_{k}){\boldsymbol {x}}_{k}} この式が表すように、アテンションでは各出力に対して関連ベクトルと入力ベクトルから重みを求め、その重みに基づいて全入力を取り込む。これにより入力列全体を各出力ベクトルへ直接取り込みつつ、重みの動的計算によって任意長のベクトル列を扱える。すなわち「任意長の列を列に変換する際、各位置の入力を直接取り込むモジュール」として機能している。 このアテンションは別の観点から捉え直すことができる。アテンションでは入力 x k {\displaystyle {\boldsymbol {x}}_{k}} をベースとして、足される値 v k {\displaystyle {\boldsymbol {v}}_{k}} （バリュー）とそれを要約した識別子 k k {\displaystyle {\boldsymbol {k}}_{k}} （キー）を用意している。さらに各出力に紐づいた関連情報をベースとして照会ベクトル q k {\displaystyle {\boldsymbol {q}}_{k}} （クエリ）を用意し、クエリとキーの一致度に基づいてバリューの重み=取り込む量を決定していると捉えられる。すなわち次の概念式に相当する： y i = A t t e n t i o n ( q i , K , V ) = ∑ k g ( q i , k k ) v k = ∑ k f ( c i , x k ) h ( x k ) {\displaystyle {\boldsymbol {y_{i}}}=Attention({\boldsymbol {q}}_{i},K,V)=\sum _{k}g({\boldsymbol {q}}_{i},{\boldsymbol {k}}_{k}){\boldsymbol {v}}_{k}=\sum _{k}f({\boldsymbol {c}}_{i},{\boldsymbol {x}}_{k})h({\boldsymbol {x}}_{k})} 最初の概念式とほぼ同様の形である一方、入力をバリューへ変換したうえで和を取れる柔軟性が追加されている。 この概念を実際に機能する演算とするうえで、以下の具体化をおこなう。まず、 w i k {\displaystyle w_{ik}} の大きさに制約がないと無限長の入力列に対し出力ベクトルが発散してしまうため、ソフトウェイトは非負かつ出力ベクトルごとに総和1（ ∑ k w i k = 1 {\textstyle \sum _{k}w_{ik}=1} ）の制約が課される。この制約内でクエリとキーの一致度を測る関数（クエリ・キー機構、英: query-key mechanism）を具体的に定義するが、これには様々なバリエーションが存在する。ドット積 q i ⋅ k k {\displaystyle {\boldsymbol {q}}_{i}\cdot {\boldsymbol {k}}_{k}} にソフトマックス関数を適用した形が代表例である。 英語からフランス語に翻訳する機械を構築するには、基本的なエンコーダ・デコーダに、アテンション単位（attention unit）を合体する（下図）。最も単純な例では、アテンション単位は回帰エンコーダの状態のドット積からなり、訓練の必要はない。実際には、アテンション単位は、クエリ・キー・バリュー（query-key-value）と呼ばれる3層の全結合型ニューラルネットワーク層で構成され、訓練が必要である。後述の「別形」の項を参照。 行列として見ると、アテンション・ウェイトは、ネットワークが文脈に応じてどのようにアテンションを調整するのかを示している。 このようなアテンションウェイトの考え方は、ニューラルネットワークが批判される「説明可能性」の問題を解決するものである。単語の順序に関係なく逐語訳（verbatim translation、逐次的な翻訳のこと）を行うネットワークは、このような観点で分析可能であれば、対角優位行列を持つことになる。一方、非対角優位であれば、アテンション機構がより微妙であることを示している。デコーダーを最初に通過したとき、94%のアテンションウェイトが最初の英単語 "I" にかかっているので、ネットワークは "je" という単語を提示する。デコーダの2回目の通過では、3番目の英単語 "you" に88%のアテンションウェイトがかかるので "t'" を提示する。最後の通過では、2番目の英単語 "love" に95%のアテンションウェイトがかかるので、"aime" を提示する。 ソフトウェイトを実装したアテンションには様々な変種が存在する。一例として以下が挙げられる： 加法アテンション（英: additive attention）: 別名Bahdanau Attention 乗法的アテンション（英: multiplicative attention）: 別名Luong Attention 自己アテンション（英: self-attention） 畳み込みニューラルネットワークの場合、アテンション機構は、それが作用する次元、すなわち空間アテンション、チャネルアテンション、またはその両方の組み合わせによって区別することもできる。 これらの別形は、エンコーダ側の入力を組み替えて、その効果を各ターゲット出力に再分配するものである。多くの場合、ドット積の相関風の行列が再重み付け係数を提供する（凡例を参照）。 アテンションを中心としたモデルとして Transformer が存在する。Transformerは同一層内に複数の独立した重み行列を持つ（Transformer#マルチヘッドアテンション）。 Transformerのスケール化内積アテンション Perceiver（英語版） - クエリ・キー・バリュー（QKV）のためのアテンション ^ Yann Lecun (2020). Deep Learning course at NYU, Spring 2020, video lecture Week 6. 該当時間: 53:00. 2022年3月8日閲覧。 ^ Graves, Alex; Wayne, Greg; Reynolds, Malcolm; Harley, Tim; Danihelka, Ivo; Grabska-Barwińska, Agnieszka; Colmenarejo, Sergio Gómez; Grefenstette, Edward et al. (2016-10-12). “Hybrid computing using a neural network with dynamic external memory” (英語). Nature 538 (7626): 471–476. Bibcode: 2016Natur.538..471G. doi:10.1038/nature20101. ISSN 1476-4687. PMID 27732574. https://ora.ox.ac.uk/objects/uuid:dd8473bd-2d70-424d-881b-86d9c9c66b51.  ^ Ramachandran, Prajit; Parmar, Niki; Vaswani, Ashish; Bello, Irwan; Levskaya, Anselm; Shlens, Jonathon (13 June 2019). "Stand-Alone Self-Attention in Vision Models". arXiv:1906.05909 [cs.CV]。 ^ Jaegle, Andrew; Gimeno, Felix; Brock, Andrew; Zisserman, Andrew; Vinyals, Oriol; Carreira, Joao (22 June 2021). "Perceiver: General Perception with Iterative Attention". arXiv:2103.03206 [cs.CV]。 ^ Ray, Tiernan. “Google's Supermodel: DeepMind Perceiver is a step on the road to an AI machine that could process anything and everything” (英語). ZDNet. 2021年8月19日閲覧。 ^ "for mapping one ... sequence ... to another sequence ... Motivating our use of self-attention" Vaswani. (2017). Attention Is All You Need. ^ "Motivating our use of self-attention ... Learning long-range dependencies is a key challenge in many sequence transduction tasks." Vaswani. (2017). Attention Is All You Need. ^ "for mapping one variable-length sequence ... Motivating our use of self-attention" Vaswani. (2017). Attention Is All You Need. ^ "three desiderata ... Another is the amount of computation that can be parallelized" Vaswani. (2017). Attention Is All You Need. ^ "A neural machine translation system ... translating a source sentence ... to a target sentence" Luong. (2015). Effective Approaches to Attention-based Neural Machine Translation. ^ "to encode a variable-length source sentence ... and to decode the vector into a variable-length target sentence" Bahdanau. (2015). Neural machine translation by jointly learning to align and translate. ICLR. ^ "A single convolutional layer ... does not connect all pairs of input and output positions. Doing so requires a stack of ... convolutional layers" Vaswani. (2017). Attention Is All You Need. ^ "three desiderata ... The third is the path length between long-range dependencies in the network. ... One key factor affecting the ability to learn such dependencies is the length of the paths forward and backward signals have to traverse in the network." Vaswani. (2017). Attention Is All You Need. ^ a b "An attention function can be described as mapping a query and a set of key-value pairs to an output" Vaswani. (2017). Attention Is All You Need. ^ "An attention function ... The output is computed as a weighted sum of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key." Vaswani. (2017). Attention Is All You Need. ^ "We compute the dot products of the query with all keys, divide each by √ dk, and apply a softmax function" Vaswani. (2017). Attention Is All You Need. ^ “Pytorch.org seq2seq tutorial”. 2021年12月2日閲覧。 ^ Bahdanau, Dzmitry (19 May 2016). "Neural Machine Translation by Jointly Learning to Align and Translate". arXiv:1409.0473 [cs.CL]。 ^ a b Luong, Minh-Thang (20 September 2015). "Effective Approaches to Attention-based Neural Machine Translation". arXiv:1508.04025v5 [cs.CL]。 ^ Zhu, Xizhou; Cheng, Dazhi; Zhang, Zheng; Lin, Stephen; Dai, Jifeng (2019). “An Empirical Study of Spatial Attention Mechanisms in Deep Networks”. 2019 IEEE/CVF International Conference on Computer Vision (ICCV): 6687–6696. arXiv:1904.05873. doi:10.1109/ICCV.2019.00679. ISBN 978-1-7281-4803-8. https://ieeexplore.ieee.org/document/9009578.  ^ Hu, Jie; Shen, Li; Sun, Gang (2018). “Squeeze-and-Excitation Networks”. IEEE/CVF Conference on Computer Vision and Pattern Recognition: 7132–7141. arXiv:1709.01507. doi:10.1109/CVPR.2018.00745. ISBN 978-1-5386-6420-9. https://ieeexplore.ieee.org/document/8578843.  ^ Woo, Sanghyun; Park, Jongchan; Lee, Joon-Young; Kweon, In So (18 July 2018). "CBAM: Convolutional Block Attention Module". arXiv:1807.06521 [cs.CV]。 ^ Georgescu, Mariana-Iuliana; Ionescu, Radu Tudor; Miron, Andreea-Iuliana; Savencu, Olivian; Ristea, Nicolae-Catalin; Verga, Nicolae; Khan, Fahad Shahbaz (12 October 2022). "Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution". arXiv:2204.04218 [eess.IV]。 ^ Neil Rhodes (2021). CS 152 NN—27: Attention: Keys, Queries, & Values. 該当時間: 06:30. 2021年12月22日閲覧。 ^ Alfredo Canziani & Yann Lecun (2021). NYU Deep Learning course, Spring 2020. 該当時間: 05:30. 2021年12月22日閲覧。 ^ Alfredo Canziani & Yann Lecun (2021). NYU Deep Learning course, Spring 2020. 該当時間: 20:15. 2021年12月22日閲覧。 ^ Robertson, Sean. “NLP From Scratch: Translation With a Sequence To Sequence Network and Attention”. pytorch.org. 2021年12月22日閲覧。 Dan Jurafsky and James H. Martin (2022) Speech and Language Processing (3rd ed. draft, January 2022), ch. 10.4 Attention and ch. 9.7 Self-Attention Networks: Transformers Alex Graves (4 May 2020), Attention and Memory in Deep Learning (video lecture), DeepMind / UCL, via YouTube Rasa Algorithm Whiteboard - Attention via YouTube Template:Differentiable computing