في أكتوبر 2004م، أعلن الزرقاوي البيعة لزعيم تنظيم القاعدة أسامة بن لادن وقام بتغيير اسم جماعته لتنظيم قاعدة الجهاد في بلاد الرافدين، وعُرفت باسم تنظيم القاعدة في العراق. رغم أن التنظيم لم يدعُ نفسه بتنظيم القاعدة في العراق، إلا أن هذا الاسم ظل متداولاً بين الناس.