Seq2seq
2014年、Googleによって、機械翻訳に使用するためにこのアルゴリズムが開発された。
初期の同様の研究としては、Tomáš Mikolovの2012年の博士論文もあった。2019年、Facebookは、記号積分(英語版)と微分方程式の解法(英語版)への利用を発表した。
同社は、Mathematica、MATLAB、Mapleといった市販ソリューションよりも高速かつ正確に複雑な方程式を解くことができると主張した。はじめに、表記上の特異性を除くために、方程式をツリー構造に解析する。次に、LSTMニューラルネットワークが、標準的なパターン認識機能を適用してツリーを処理する。
2020年、Googleは、seq2seqベースのチャットボットMeenaをリリースした。これは、341 GBのデータセットで訓練した26億パラメータを持つ。Googleは、このチャットボットがOpenAIのGPT-2よりも1.