Jabarkan GPT-3 dari OpenAI

Generative Pre-trained Transformer 3, biasanya dikenal dengan bentuk singkatannya GPT-3, adalah model bahasa pengubah tanpa pengawasan dan penerusnya GPT-2. Ini pertama kali dijelaskan pada Mei 2020. OpenAI menyatakan bahwa versi penuh dari GPT-3 memiliki 175 miliar parameter, dua kali lipat lebih besar dari parameter 1,5 miliar dalam versi penuh dari GPT-2 (meskipun model GPT-3 dengan sedikitnya 125 juta parameter juga dilatih).

OpenAI menyatakan bahwa GPT-3 berhasil pada tugas "meta-learning" tertentu. Ini dapat menggeneralisasi tujuan dari pasangan masukan-keluaran tunggal. Makalah ini memberikan contoh pembelajaran terjemahan dan transfer lintas bahasa antara bahasa Inggris dan Rumania, dan antara bahasa Inggris dan Jerman.

Pada 23 September, 2020, GPT-3 dilisensikan secara eksklusif untuk Microsoft.