ב-1998 עבר לאפגניסטן והתאמן במחנות האימונים של אל-קאעידה, שם רכש את אמונו של מנהיג אל-קאעידה, אוסאמה בן לאדן. ב-2004 עזב את אפגניסטן לארץ מוצאו, עיראק, כדי להצטרף לאל-קאעידה בעיראק תחת מנהיגותו של אבו מוסעב א-זרקאווי. הוא היה המנהיג המקומי של אל-קאעידה במוסול מטעם א-זרקאווי. ב-2006 היה ממייסדי "מועצת השורא של לוחמי הג'יהאד בעיראק", שמטרתה להילחם בכוחות הקואליציה שפלשו לעיראק והפילו את משטרו של סדאם חוסיין. הוא נעצר על ידי צבא ארצות הברית ואף נכלא למשך תקופה בכלא אמריקאי בעיראק.