Seq2seq
7倍大きなモデル容量を持ち、2020年5月に後継となった1,750億パラメータのGPT-3は『平文単語の45 TB(45,000 GB)のデータセットを570 GBまで絞り込んだもの』で訓練されたと主張した。
2022年、Amazonは中規模(200億パラメータ)のseq2seq言語モデルであるAlexaTM 20Bを発表した。これは、エンコーダ-デコーダを使用して、少数ショット学習を行うものである。エンコーダーは入力の表現を出力して、デコーダーはそれをもとに別の言語に翻訳するなど特定のタスクを実行する。このモデルは、言語翻訳と要約において、はるかに大規模なGPT-3よりも優れた性能を示した。訓練では、ノイズリダクション(文字列中の欠落したテキストを適切に修復する)と因果言語モデリング(入力テキストの意味のある拡張)が組み合わされた。これにより、大規模な訓練ワークフローを行わずに、さまざまな言語間にわたって特徴を付加することができる。AlexaTM 20Bは、Flores-101のすべての言語ペアにわたって、少数ショット学習タスクによる最先端の性能を達成し、いくつかのタスクではGPT-3を上回った。