Seq2seq

Seq2seqは、自然言語処理のための機械学習手法の一系統である。言語翻訳、、、テキスト要約などの用途がある。
歴史.
2014年、Googleによって、機械翻訳に使用するためにこのアルゴリズムが開発された。
初期の同様の研究としては、の2012年の博士論文もあった。2019年、Facebookは、と微分方程式のへの利用を発表した。
同社は、Mathematica、MATLAB、Mapleといった市販ソリューションよりも高速かつ正確に複雑な方程式を解くことができると主張した。はじめに、表記上の特異性を除くために、方程式をツリー構造に解析する。次に、LSTMニューラルネットワークが、標準的なパターン認識機能を適用してツリーを処理する。
2020年、Googleは、seq2seqベースのチャットボットMeenaをリリースした。これは、341 GBのデータセットで訓練した26億パラメータを持つ。Googleは、このチャットボットがOpenAIのGPT-2よりも1.7倍大きなモデル容量を持ち、2020年5月に後継となった1,750億パラメータのGPT-3は『平文単語の45 TB（45,000 GB）のデータセットを570 GBまで絞り込んだもの』で訓練されたと主張した。
2022年、Amazonは中規模（200億パラメータ）のseq2seq言語モデルであるAlexaTM 20Bを発表した。これは、エンコーダ-デコーダを使用して、少数ショット学習を行うものである。エンコーダーは入力の表現を出力して、デコーダーはそれをもとに別の言語に翻訳するなど特定のタスクを実行する。このモデルは、言語翻訳と要約において、はるかに大規模なGPT-3よりも優れた性能を示した。訓練では、ノイズリダクション（文字列中の欠落したテキストを適切に修復する）と因果言語モデリング（入力テキストの意味のある拡張）が組み合わされた。これにより、大規模な訓練ワークフローを行わずに、さまざまな言語間にわたって特徴を付加することができる。AlexaTM 20Bは、Flores-101のすべての言語ペアにわたって、少数ショット学習タスクによる最先端の性能を達成し、いくつかのタスクではGPT-3を上回った。
手法.
Seq2seqは、ある配列（sequence）を別の配列に変換することができる（）。この変換には、回帰型ニューラルネットワーク（RNN）や、勾配消失問題を避けるために長期・短期記憶（LSTM）やゲート付き回帰型ユニット（GRU）が使用される。各項目のコンテキストには前のステップの出力が使われる。主な構成部位は、一組のエンコーダーネットワークとデコーダーネットワークである。エンコーダーは、各項目を、その項目とコンテキストを含んだ対応する隠れベクトルに変換する。デコーダは、このプロセスを逆転させ、前の出力を入力コンテキストとして使用しながら、ベクトルを出力項目に変換する。
最適化には次のような手法がある。
訓練では通常、クロスエントロピーが使用され、ある出力は後続の出力の確率が1未満になるようペナルティが課せられる。
関連ソフトウェア.
同様の手法を採用するソフトウェアとして、OpenNMT（）、Neural Monkey（TensorFlow）、NEMATUS（）などがある。