Natural language processing
Transformer は機械翻訳や時系列予測などの自然言語処理の分野で主に応用されてきた。 GPT-3 、GPT-2、BERT、XLNet、RoBERTa などの多くの事前トレーニング済みモデルは、Transformer がそのような自然言語処理関連のさまざまなタスクを実行する能力を実証しており、以下の様な現実世界のタスクに応用しうる。