Ugrupowanie powstało podczas interwencji Stanów Zjednoczonych w Iraku w 2003 roku. Początkowo organizacja istniała pod nazwą Dżama’at at-Tauhid wa-al-Dżihad i była dowodzona przez Abu Musaba az-Zarkawiego. Grupa ta skupiała sunnickich terrorystów i zagranicznych ekstremistów. Była de facto odnogą Al-Ka’idy w Iraku. Ugrupowanie az-Zarkawiego podczas wojny partyzanckiej w Iraku w 2004 roku zasłynęło przede wszystkim udziałem w I i II bitwie o Faludżę, przeprowadzaniem zamachów samobójczych, a także braniem do niewoli zagranicznych zakładników i mordowaniem ich poprzez ścięcie, co wstrząsnęło opinią publiczną.