OpenAI
2018年6月11日にGPT(Generative Pre-trained Transformer)を発表。GPTは教師なし学習のTransformer言語モデルである。
GPT-3は2020年5月に発表された、Generative Pre-trained Transformer 2(GPT-2)の後継モデルである。OpenAIによると、GPT-3には1,750億個のパラメータが含まれ、GPT-2(パラメータ数15億個)より2桁大きい。
OpenAIは、GPT-3は特定の「メタ学習」タスクで成功すると述べた。単一の入出力ペアの目的を一般化できる。この論文は、英語-ルーマニア語間、および英語-ドイツ語間の翻訳および言語間転移学習の例を示している。
GPT-3のベンチマーク結果は、GPT-2のそれと比較して劇的に改善している。OpenAIは、そのような言語モデルのスケールアップは、予測言語モデルの基本的な機能制限に近づいたり遭遇したりする可能性があると警告した。訓練に要した計算量は、GPT-1が0.