לאחר הפלישה האמריקאית לאפגניסטן ב-2001, ברח א-זרקאווי לאיראן ולאחר מכן לעיראק. ביחד עם פעילי קבוצתו, שנקראה "קבוצת המונותאיזם והג'יהאד" (جماعة التوحيد والجهاد - ג'מאעת א-תוחיד ואל-ג'יהאד), הקים א-זרקאווי רשת של תאי טרור ברחבי עיראק לקראת הפלישה האמריקאית המתוכננת.