Tevhit ve Cihat Cemaati lideri Ebu Musab ez-Zerkavi tarafından 17 Ekim 2004'te İnternet'te yayınlanan bir bildiriyle, örgütün el-Kaide ve lideri Usame bin Ladin'e bağlılık yemini etmesiyle kuruldu. Örgüt, başta Irak'taki Şii topluluklara yönelik olmak üzere Irak Direnişi sırasında sivillere karşı onlarca bombalı saldırı ve intihar saldırısı düzenledi. Örgütün sözcüsü Ebu Maysara el-Iraki 15 Ocak 2006'da, "Irak'ı işgalden kurtarmak, tüm mücahitleri tek bir çatı altında toplamak ve birlikte hareket etmesini sağlamak ve İslam ile Sünnet bayrağını yüceltme" amacıyla, Irak el-Kaidesi'nin de aralarında olduğu altı örgütün birleşmesiyle Mücahit Şura Meclisi adlı çatı örgütün kurulduğunu duyurdu.