Après l'invasion américaine de l'Irak en 2003, Al-Anbari rejoint les insurgés. Il aurait combattu au sein d'Ansar al-Islam mais aurait été chassé de ce groupe après avoir été accusé de corruption. Il s'attaque aussi dès le début aux chiites, aux Frères musulmans et à toute personne considérée comme « hérétique ». En 2004, il rallie Al-Qaïda en Irak (AQI). Il aurait été l'émir de Mossoul. En 2005, il représente AQI auprès d'Al-Qaïda central au Pakistan. De retour en Irak, al-Anbari participe à la formation en du Conseil consultatif des moudjahidines en Irak, qui naît de la fusion d'al-Qaïda en Irak avec d'autres groupes djihadistes. Il dirige alors ce conseil et prend un nouveau nom de guerre, Abdoullah Rashid al-Baghdadi. Quelques mois plus tard, ce conseil devient l'État islamique d'Irak.