Transformer (機械学習モデル)
ニューラルネットワークの分野ではLSTMやGRUなどの回帰型ニューラルネットワークにアテンション機構を追加したモデルが高性能な自然言語処理システムで採用されてきた。
ゲート付き RNN はトークンを順次処理し、各トークンの後に表示されるデータの表現を含む状態ベクトルを維持する。 n {\displaystyle n} 番目のトークンを処理するとき、モデルは文の n − 1 {\textstyle n-1} 番目のトークンまでを表現する状態と、新しいトークンの情報とを組み合わせて新しい状態を作り出す。 そしてこの新しい状態が文の n {\textstyle n} 番目のトークンまでを表現する。 理論的には、あるトークンに関する情報を全ての時点でエンコードし続ける場合、シーケンスの任意の長さまで伝播できる。 しかし実際には勾配消失問題を一因としてこの機構は不完全であり、長い文の終わりにおける状態からは、初期のトークンに関する情報の多くは不正確ないし抽出不可能である。
この問題は、アテンション機構の導入によって対処された。