DALL-E
GPTモデルは最初、2018年にOpenAIによりTransformerアーキテクチャを使用して開発された。GPTは、2019年にスケールアップされGPT-2が生成された。2020年にはさらにスケールアップされ、1750億のパラメータを有するGPT-3が作成された。DALL-EのモデルはGPT-3のマルチモーダルの実装であり、120億のパラメータを有し、インターネットから取得したテキストと画像のペアで訓練され、「テキストとピクセルを交換する」。DALL-E 2はDALL-Eよりも少ない35億のパラメータを使用する。
DALL-Eは、CLIP (Contrastive Language-Image Pre-training)と合わせて開発され、一般に公開された。CLIPは、 インターネットからスクレイピングされたテキストキャプションつきの画像4億組で訓練されたゼロショット学習(英語版)に基づく分離モデルである。その役割は、データセットからランダムに選択された32,768個のキャプションのリスト(そのうち1つが正解)からどのキャプションが画像に最も適しているかを予測することにより、DALL-Eの出力を「理解しランクを付ける」ことである。このモデルは、最も適した出力を選択するために、DALL-Eにより生成された画像の大きい初期リストをフィルタリングするために使用される。
DALL-E 2は、CLIP画像埋め込みを条件とする拡散モデルを使用し、これは、推論中に以前のモデルによるCLIPテキスト埋め込みから生成される。