Gerçek adı Ahmed Fadıl en-Nazal el-Haleyle olan Ebu Musab ez-Zerkavi, 30 Ekim 1966'da Zerka, Ürdün'ün Masum mahallesindeki Hasmi Sokağı'nda, iki katlı bir evde doğdu. Fatma (d. 1961), Ayşe (d. 1963), Aliye (d. 1968), Meryem (d. 1968), İntizar (d. 1970), Emine (d. 1973) ve Rabia (d. 1975) olmak üzere yedi kız kardeşi ile Sayil (d. 1959) ve Muhammed (d. 1965) olmak üzere iki erkek kardeşi olan Ahmed Fadıl, kız kardeşlerinin tamamı ve Muhammed ile birlikte, doğduğu şehirde büyüdü. Ailesi, Bedevi kökenli Beni Hasan aşiretinin Haleyle boyuna mensuptu. 1926 doğumlu babası Fadıl Nazal Muhammed el-Haleyle, gönüllü olarak 1948 Arap-İsrail Savaşı'na katılmış ve sonraki dönemde Zerka belediyesi tarafından, topluluğun sorunlarını çözmesi amacıyla danıştığı bir "muhtar" olarak belirlenmişti. Babası, ayrıca geleneksel tıpla uğraşmaktaydı. 1940, Zerka doğumlu, gerçek adı Dali İbrahim Muhammed el-Haleyle olan annesi Ümmü Sayil, "son derece dindar" olarak tanımlanmaktaydı.