Après l'invasion américaine de l'Irak, Al-Baghdadi rejoint les insurgés à la fin de l'année 2003 et forme sa propre faction ; « Jaych Ahl al-Sunnah oua al-Jama'a » (« l'Armée du peuple appartenant à la communauté sunnite »). Il prend à cette occasion le surnom d'« Abou Du'a ».