Die Lager Zarqawis wurden im März 2003 als einige der ersten Ziele von den amerikanischen Streitkräften bombardiert, da dort Labore für Massenvernichtungswaffen vermutet wurden. Az-Zarqawis Gruppe führte keine Anschläge gegen amerikanische Soldaten während der Kampfhandlungen im Irakkrieg aus, vielmehr wartete man ab, bis sich die Lage beruhigt hatte. Der Dschihad begann im August 2003 mit dem Anschlag auf die UN-Vertretung in Bagdad, bei dem der Gesandte der Vereinten Nationen getötet wurde. Einige Tage später fuhr Yasin Dscharrad, Vater von Zarqawis zweiter Frau, mit einem mit Sprengstoff beladenen Wagen in die schiitische Imam-Ali-Moschee. Dabei wurden 125 Menschen getötet, darunter auch Muhammad Baqir al-Hakim, Ajatollah und geistiger Führer des Obersten Rates der Islamischen Revolution im Irak.