Afganistan'da bulunduğu dönemde, kendi ağına bağlı kişiler aracılığıyla ve burada faaliyet gösteren diğer cihatçı örgütlerle ittifak kurarak Irak Kürdistanı'nda da etkin olmaya başladı. 11 Eylül saldırıları sonrasında koalisyon güçleri tarafından Afganistan'daki Taliban rejimine karşı savaş başladığında İran'da bulunan ez-Zerkavi, Afganistan'a hareket etti. 2001 yılı sonlarında, savaşta yaralanmasının ardından tedavi amacıyla İran'a döndü ve tedavisinin tamamlanmasıyla birlikte Irak ya da Suriye'ye geçti. Mart 2003'te, Amerikan kuvvetlerinin öncülüğündeki koalisyon güçleri tarafından Irak'a gerçekleştiren askerî müdahaleye karşı başlatılan direnişteki unsurlardan biriydi. Ekim 2004'te örgüt, el-Kaide'ye biat ederek faaliyetlerini sürdürürken Ocak 2006'da da bu grubun liderliğinde toplanan birkaç grupla birlikte Mücahit Şura Meclisi adlı çatı örgüt kuruldu. 7 Haziran 2006'da, Diyala ilindeki Hibhib köyünde yer alan bir eve, Amerika Birleşik Devletleri Hava Kuvvetleri tarafından düzenlenen hava saldırısıyla öldürüldü. Ez-Zerkavi'nin ölümü sonrasında örgütün liderliği Ebu Eyyub el-Mısri'ye geçti.