Tổ chức này được thành lập vào những năm đầu của cuộc chiến tranh Iraq (2003) và cam kết trung thành với al-Qaeda vào năm 2004. Nhóm này được hỗ trợ bởi một loạt các nhóm nổi dậy, trong đó bao gồm tổ chức tiền thân của nó, Hội đồng Mujahideen Shura,Al-Qaeda ở Iraq (AQI), Jaysh al-Fatiheen, Jund al-Sahaba, Katbiyan Ansar Al-Tawhid wal Sunnah, Jeish al-Taiifa al-Mansoura. Từ khoảng giữa năm 2013 ISIL và al-Qaeda đã có những tranh chấp với nhau. Vào tháng 2 năm 2014, sau 8 tháng tranh giành quyền lực, al-Qaeda đã cắt đứt mọi liên hệ với nhóm này.