Jelaskan Model-model GPT dari EleutherAI

Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3. Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.

GPT-Neo (125JT, 1.3M, 2.7M):  dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.

GPT-J (6M): dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.

GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.

Walaupun mayoritas dari model bahasa besar dilatih dalam bahasa Inggris ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.