לאחר שאל-ג'ולאני נסע לעיראק כדי להילחם בחיילים האמריקאים לאחר הפלישה ב-2003 עיראק, הוא קודם במהירות בסולם הדרגות של אל-קאעידה, ועל פי הדיווחים היה ממקורביו של אבו מוסעב א-זרקאווי - מנהיג אל-קאעידה בעיראק שמוצאו מירדן. לאחר שא-זרקאווי חוסל בתקיפה אווירית של ארצות הברית בשנת 2006, אל-ג'ולאני עזב את עיראק, ועבר לגור למשך תקופה קצרה בלבנון, שם העביר הכשרה ותמיכה לוגיסטית עבור הקבוצה המיליטנטית ג'ונד א-שאם, שהאידאולוגיה שלה זהה לזו של אל-קאעידה. לאחר מכן הוא חזר לעיראק והשתתף בלחימה באופן פעיל נגד צבא ארצות הברית וצבא עיראק, כשדווח שהוא היה גם אחראי על אבטחת הכבישים בתוך סוריה עבור המוג'אהדין המעוניינים להשתתף בלחימה. ג'ולאני נעצר על ידי צבא ארצות הברית והוחזק בכלא קמפ בוקה בגבולה הדרומי של עיראק עם כווית. בקמפ בוקה שבו צבא ארצות הברית החזיק עשרות אלפי חמושים חשודים, הוא לימד אסירים אחרים ערבית קלאסית.