I 2003 begynte Baghdadi sin jihadistiske karriere med et kortvarig engasjement i en liten milits som het Militsen ble opprettet som en direkte konsekvens av den amerikanske okkupasjonen av Irak i april 2003. Baghdadi sin rolle i organisasjonen var som øverste leder for dens shariaråd. I januar 2004 ble Baghdadi arrestert av amerikanske soldater utenfor Fallujah. Han ble plassert i det amerikanske militærfengselet «Camp Bucca», hvor han ble sittende fram til 6. desember 2006. Bak Camp Bucca sine murer skal Baghdadi ha knyttet kontakt med flere andre prominente jihadister, blant dem Abu Muhammed al-Adnani, som skulle bli den profilerte talsmannen til ISIL og Abu Abdulrahman al-Bilawi, som er medlem av ISILs shuraråd. I fengselet fikk Baghdadi rollen med å lede fredagsbønnen. Han ble også brukt av de amerikanske fengselsmyndighetene til å megle i konflikter mellom andre innsatte. Før sin løslatelse i 2006 ble Baghdadi vurdert av de amerikanske militærmyndighetene til å utgjøre en lav sikkerhetsrisiko.