Någon gång under 2001 arresterades Zarqawi på nytt i Jordanien, men släpptes kort därefter. Efter 11 september-attackerna for han åter till Afghanistan för att försvara taliban-regimen mot USA:s invasion. Därefter for han till Iran för att organisera sin tidigare terrororganisation "al-Tawhid". Efter USA:s invasion av Irak 2003 begav han sig därefter till de norra delarna av Irak, för att delta i Ansar al-Islams kamp mot amerikanska styrkor och koalitionsstyrkor i landet.