15 Ocak 2006'da, Irak el-Kaidesi sözcüsü Ebu Meysere el-Iraki tarafından, "Irak'ı işgalden kurtarmak, tüm mücahitleri tek bir çatı altında toplamak ve birlikte hareket etmesini sağlamak ve İslam ile Sünnet bayrağını yüceltme" amacıyla; Irak el-Kaidesi, Ceyş et-Tayfa el-Mensure, Katbiyan Ensar el-Tevhid vel Sünnet, Seray el-Cihad, el-Gureba Taburları ve el-Ahval Taburları'ndan oluşan örgütün kurulduğu duyuruldu. Kuruluşundan iki hafta kadar sonra, Ceyş Ehl-i Sünnet ve el-Cemaat'in de oluşuma katıldığı bildirildi. 22 Şubat 2006'da, Irak'ın Samarra şehrinde yer alan ve Şiilerin kutsal kabul ettiği el-Askeri Camii'ne düzenlenen bombalı saldırıda ölen ya da yaralanan olmazken yapıda hasar meydana geldi. Saldırı sonrasında ülkedeki Sünni ve Şii kesim arasında çıkan çatışmalarda 1.000'in üzerinde ölü olduğu belirtildi. 7 Haziran 2006'da, örgüt lideri Ebu Musab ez-Zerkavi'nin de katıldığı bir örgüt toplantısının yapıldığı binaya Amerika Birleşik Devletleri Hava Kuvvetleri'ne bağlı uçaklar tarafından düzenlenen hava saldırısıyla ez-Zerkavi'nin öldürülmesi sonrasında örgütün liderliği Ebu Eyyub el-Mısri'ye geçti. 15 Ekim 2006'da yayınlanan videoyla oluşum; Bağdat, Anbar, Diyala, Kerkük, Selahaddin ve Ninova illerinin tamamı ile Babil ilinin bir kısmını içinde barındıran bölgede Irak İslam Devleti'ni kurduğunu açıkladı.