Ansar al-Islam ble opprettet i desember 2001 ved at en del mindre islamistiske grupper i det kurdiske selvstyreområdet i Nord-Irak slo seg sammen. Blant disse gruppene var det mange utbrytere fra (IMK). Utløsende årsak var en avtale inngått mellom IMK og det dominerende partiet i området, PUK, om å overlate den militære kontrollen i et område behersket av IMK til PUK, mens IMK fortsatt skulle ha administrativ kontroll. Ansar al-islam anså denne avtalen som et svik mot kampen for å innføre islamistisk styre.