Ibrahim liittyi Muslimiveljeskuntaan 1990-luvun puolivälissä. Vallankumouksellisen jihadistisen salafismin hän omaksui viimeistään vuonna 2000. Yhdysvaltojen miehitettyä Irakin Irakin sodan jälkeen vuonna 2003 hän oli mukana perustamassa Jamaat Jaysh Ahl al-Sunnah wa-l-Jamaah eli JJASJ-nimistä vastarintajärjestöä, joka toimi pääasiassa Samarran, Diyalan ja Bagdadin alueella. Yhdysvaltojen johtaman koalition joukot pidättivät hänet, ja hän oli vangittuna helmikuusta joulukuuhun vuonna 2004. Häntä ei kuitenkaan pidetty suurena uhkana, joten hänet vapautettiin. Vuonna 2006 JJASJ liittyi Irakin al-Qaidan kanssa Mujahideenien Shura-neuvosto -nimiseen kattojärjestöön. Myöhemmin samana vuonna järjestö nimettiin uudestaan Irakin islamilaiseksi valtioksi. Siihen aikaan järjestö taisteli Irakin šiioja vastaan ja Ibrahim toimi järjestön silloisen johtajan Abu Omar al-Baghdadin tärkeänä neuvonantajana. Abu Omarin kuoltua Yhdysvaltojen iskussa vuonna 2010 hän nousi järjestön johtoon ja otti Isisin tavoitteeksi sunnikalifaatin perustamisen Irakin ja Syyrian alueelle. Hän oli tällöin ottanut salanimen Abu Bakr al-Baghdadi.