Al-Baghdadi (jest to pseudonim) urodził się w Samarrze, zaś w momencie inwazji amerykańskiej na Irak był imamem w jednym z meczetów w rodzinnym mieście. Ukończył studia na Uniwersytecie Bagdadzkim. Według niepewnych podejrzeń jeszcze za rządów Saddama Husajna należał do radykalnej organizacji islamskiej, według innej wersji amerykańscy żołnierze przetrzymywali go przez cztery lata w (do 2009) i to tam jego poglądy religijne silnie się zradykalizowały. Według jeszcze innych informacji al-Baghdadi został członkiem al-Ka’idy krótko po wybuchu wojny amerykańsko-irackiej i służył pod rozkazami Abu Musaba az-Zarkawiego, początkowo zajmując się przerzucaniem przez granicę zagranicznych bojowników islamskich, następnie zaś został samozwańczym emirem Rawy. Tam miał zasłynąć z brutalności jako przewodniczący założonego przez siebie sądu szariackiego i inicjator publicznych egzekucji osób podejrzewanych o wspieranie wojsk amerykańskich.