GPT-3
2018年6月11日、OpenAIの研究者と技術者は、データセットを介して膨大で多様なテキストのコーパスを用いて事前学習できる生成モデル(言語モデル、人工知能システム)に関する、彼らが生成的事前学習(generative pre-training、GP)と呼ぶプロセスの原論文を発表した。著者らは、GPT-nで『ラベル付けされていない多様なテキストのコーパスを用いて言語モデルを生成的に事前学習し、その後、特定のタスクごとに識別的に微調整する』プロセスを通じて、自然言語処理(NLP)における言語理解の性能が向上したことを説明した。これにより、人間による監督や、時間のかかる手作業によるラベル付けが不要になった。
2020年2月、マイクロソフトは、『170億個のパラメータを持つ、これまでに発表された最大の言語モデル』と主張するTuring Natural Language Generation(T-NLG)を発表した。これは、テキストの要約や質問への回答を含む、さまざまタスクで、他のどの言語モデルよりも優れた性能を発揮した。