Etter løslatelsen fra Camp Bucca i 2006 var Baghdadi med på å starte en ny ekstremistgruppe som fikk navnet I denne gruppen fungerte Baghdadi som lederen av shariakomiteen. Etter Abu Musab al-Zarqawi sin død i 2006 ble Baghdadi sin gruppe med i konglomeratet av opprørsgrupper i Irak som var organisert under rådet, organisasjonen som senere samme år ble til ISI (den islamske staten i Irak). Her hadde Baghdadi posisjoner i både shura- og shariarådet. I 2010 ble den daværende lederen av ISI, Abu Omar al-Baghdadi, drept i et amerikansk luftangrep. Baghdadi ble da utnevnt til emir (leder) for gruppen. I 2013 involverte gruppen seg i borgerkrigen i Syria og byttet da navn til ISIL, før den erklærte sitt kalifat med Baghdadi som kalif den 29. juni 2014.