Jabarkan Sejarah dari EleutherAI

EleutherAI berawal dari sebuah peladen di Discord pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut, nama ini merujuk pada eleutheria, sebuah istilah bahasa Yunani kuno untuk libertas.

Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih model bahasa besar. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021. Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami." Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia. Kumpulan model bahasa tersebut dirilis di bawah lisensi Apache 2.0 dan dianggap telah "menyalakan gelombang perusahaan rintisan yang benar-benar baru".

Setelah dirilisnya DALL-E oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model sintesis teks-ke-gambar. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan seniman digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar. Dengan pijakan ide dari Google DeepDream, mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP. Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik dimana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus. Karya ini dianggap oleh Direktur Utama Stability AI Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.