Jabarkan Sejarah dari Model teks-ke-gambar

Sebelum berkembangnya pemelajaran dalam, langkah-langkah untuk membangun model teks-ke-gambar terbatas hanya pada kolase dengan mengurutkan gambar yang sudah ada, seperti dari basis data clip art.

Tugas sebaliknya, pendeskripsian gambar, lebih mudah dibuat dan sejumlah model pemelajaran dalam pendeskripsian gambar muncul sebelum model teks-ke-gambar pertama.

Model teks-ke-gambar modern pertama, alignDRAW, diperkenalkan pada tahun 2015 oleh peneliti dari Universitas Toronto. alignDRAW memperluas arsitektur DRAW untuk dikondisikan berdasarkan urutan teks. Gambar yang dihasilkan oleh alignDRAW cenderung blur dan tidak fotorealistis, namun model dapat menghasilkan obyek yang tidak ada pada data latih (seperti bis sekolah berwarna merah), dan menangani perintah yang tidak lazim seperti "sebuah rambu tanda berhenti melayang di langit biru", menunjukan bahwa dia tidak sekedar "menghafal" data dari kumpulan data latih.Pada tahun 2016, Reed, Akata, Yan et al. berhasil menjadi yang pertama dalam menggunakan jaringan adversarial generatif untuk tugas teks-ke-gambar. Dengan model yang dilatih pada kumpulan data yang sempit dan spesifik, mereka dapat menghasilkan gambar dengan "tampilan meyakinkan" seperti gambar burung dan bunga dari deskripsi teks seperti "Sebuah burung berwarna hitam sepenuhnya dengan paruh yang unik dan bulat". Sebuah model yang dilatih pada kumpulan data COCO menghasilkan gambar yang "dipandang dari jauh... meyakinkan", tetapi secara detil kurang koherensi. Sistem selanjutnya meliputi VQGAN+CLIP, XMC-GAN, dan GauGAN2.

Sebuah model teks-ke-gambar pertama yang menarik perhatian publik adalah OpenAI DALL-E, sebuah sistem transformer yang diumumkan pada Januari 2021. Sebuah penerus yang dapat menghasilkan gambar yang lebih kompleks dan realistis , DALL-E 2, diperkenalkan pada April 2022, diikuti oleh Stable Diffusion yang dirilis secara publik pada Agustus 2022.

Mengikuti model teks-ke-gambar lainnya, platform teks-ke-video seperti Runway, Make-A-Video, Imagen Video, Midjourney, dan Phenaki dapat menghasilkan video dari perintah teks dan/atau teks/gambar.