Jabarkan Arsitektur dan pelatihan dari Model teks-ke-gambar

Model teks-ke-gambar telah dibuat menggunakan berbagai jenis arsitektur. untuk langkah menghasilkan gambar, jaringan adversarial generatif kondisional telah umum digunakan, dengan model difusi juga menjadi populer akhir-akhir ini. Ketimbang melatih secara langsung sebuah model untuk menghasilkan keluaran beresolusi tinggi yang dikondisikan pada sebuah sematan teks, teknik populer adalah dengan melatih sebuah model untuk menghasilkan keluaran beresolusi rendah, dan lalu menggunakan model pemelajaran dalam untuk meningkatkan resolusi, dengan mengisi detil yang lebih dalam.

Model teks-ke-gambar dilatih pada kumpulan data berpasangan (teks, gambar), umumnya diambil dari web. Dengan model Imagen tahun 2022, Google Brain melaporkan hasil yang positif dari penggunaan model bahasa besar yang dilatih secara terpisah pada kumpulan teks saja (dengan bobot yang dibekukan), sebuah perbedaan dari pendekatan standar yang umum digunakan.