Након америчке инвазије на Ирак 2003, Ел Багдади је учествовао у оснивању милитантне групе „Војска сунитског народа и заједнице“ ( -{DIN: ğayš ahl as-sunna wal-ğamāʿa}-), у којој је служио као вођа шеријатског комитета. Ал-Багдади и његова група су се придружили Муџахединском шура савету (МСЦ) 2006, у коме је такође служио као део шеријатског комитета. Након што је МСЦ преименован у Исламска држава Ирака (ИСИ) 2006, ел Багдади је постао генерални супервизор шеријатског комитета и члан вишег консултативног савета.