Jabarkan DALL-E dan CLIP dari OpenAI

DALL-E adalah model Pengubah yang membuat gambar dari deskripsi tekstual, diungkapkan oleh OpenAI pada Januari 2021.

CLIP melakukan sebaliknya: ini membuat sebuah deskripsi dari sebuah gambar yang diberikan. DALL-E menggunakan versi 12 miliar parameter GPT-3 untuk menginterpretasikan masukan bahasa alami (seperti "sebuah dompet kulit hijau berbentuk segi lima" atau "pandangan isometrik dari kapibara yang menyedihkan") dan menghasilkan gambar yang sesuai. Itu dapat membuat gambar objek realistis ("jendela kaca patri dengan gambar stroberi biru") serta objek yang tidak ada dalam kenyataan ("kubus dengan tekstur landak"). Mulai Maret 2021, tidak ada API atau kode yang tersedia.

Pada Maret 2021, OpenAI menerbitkan makalah berjudul Multimodal Neurons in Artificial Neural Networks, yang dimana mereka menunjukan sebuah analisis rinci dari mdoel CLIP (dan GPT) dan kelemahan mereka. Tipe serangan baru ini pada model tersebut dijelaskan dalam karya ini.