Arbeidet med å utvikle et supersonisk jetbombefly som kunne bære atomvåpen begynte i Frankrike i 1956 og var et ledd i utviklingen av Frankrikes uavhengige kjernefysiske avskrekkingsprogram. Løsningen som ble utviklet i samarbeid mellom de franske myndigheter og Dassault ble godkjent 20. mars 1957. Dassault sin første prototype med navnet var svært lik Mirage IIIA i utseende, selv om den hadde dobbelt så stor vingeflate, 2 jetmotorer i stedet for én, og veide dobbelt så mye uten last. Mirage IV hadde også tre ganger så stor drivstoffkapasitet som Mirage III.