Faren til al-Zarqawi var en pensjonert jordansk offiser. Han døde i 1984. Familien tilhørte Beni Hassan-stammen, en jordansk gruppe som er lojal overfor den regjerende monarken i landet. al-Zarqawi vokste opp i byen al-Zarqa, ikke langt unna Amman. I sin ungdom var al-Zarqawi mest kjent som en enkel og temperamentsfull småkriminell. Han var praktisk talt analfabet og skal blant annet ha sittet fengslet for seksuelle overgrep (se omtale i den britiske avisa The Guardian).