ニューラル機械翻訳
リカレントニューラルネットワークは、長い入力を単一のベクトルにエンコードする際に困難に直面する。これは、出力の各単語を生成している間にデコーダが入力のさまざまな部分に焦点を合わせることができる注意メカニズム(英: attention mechanism)によって補正できる。重複訳や訳抜けにつながる過去のアライメント情報を無視するなど、このような注意メカニズムの問題に対処するカバレッジモデル(英: Coverage Models)がさらに存在する。
畳み込みニューラルネットワーク(英: Convolutional Neural Networks、Convnets)は、原理的には長い連続シーケンスに対していくらか優れているが、いくつかの弱点があったために当初は使用されなかった。これらは「注意メカニズム」を使用することにより、2017年にうまく補償された。
注意ベースのモデルであるトランスフォーマーアーキテクチャは、いくつかの言語ペアの主要アーキテクチャとして存続している。