Selvom DALL-E er et meget avanceret værktøj, er der stadig nogle udfordringer, som skal overvindes. En af de største udfordringer er, at DALL-E stadig har svært ved at forstå komplekse tekstbeskrivelser, og det kan resultere i, at den genererer billeder, som ikke helt matcher den ønskede tekstbeskrivelse. Derudover kan det være svært at kontrollere og styre outputtet af DALL-E, og det kan resultere i, at den genererer billeder, som ikke er ønskede.