1989'da, Sovyet kuvvetlerine karşı savaşan Arap Mücahitlere katılma amacıyla, Mektebu'l Hidemat'ın Ürdün'deki faaliyetlerinden sorumlu olan Ebu Kuteybe el-Mecali tarafından Pakistan'a gönderilerek diğer Mücahitlerle birlikte Peşaver'in kenar mahallelerinden Hayatabad'a yerleşti. Burada, kendisinin akıl hocası olacak ve bu dönemde fikirlerini benimsediği isimlerin başında gelen Ebu Muhammed el-Makdisi ile tanıştı. 1989 ilkbaharında, birkaç gün süren yolculuk sonunda, diğer Mücahitlerle birlikte Afganistan'ın doğusundaki Host'a gönderildi. Şehre ulaştığı dönemde Sovyet kuvvetleri ülkeden çekilmeye başlamışsa da, Afganistan Demokratik Cumhuriyeti'ne bağlı güçlerle olan çatışmalar devam etmekteydi. Nisan 1991'e kadar devam eden ve kendisinin de yer aldığı çatışmalar sonucunda Host, Mücahitler tarafından ele geçirildi. Sovyet güçlerinin çekilmesinin ardından devam eden iç savaşta silahlı mücadelesine devam etti ve Afganistan'ın farklı bölgeleri ile Hayatabad arasında birkaç kez gidip geldi. Afganistan'daki hayatının başlarında savaşçıdan çok gazeteci olarak hizmet vererek Peşaver'deki Mücahitler tarafından yayımlanan "el-Bunyen el-Mersus" adlı cihatçı bir dergide muhabirlik yapmıştı. El-Makdisi'nin ez-Zerkavi'ye 2004 yılında yazdığı mektupta, Peşaver'deki diğer bir cihat teorisyeni Ebu Velid el-Ensari'nin evinde birlikte kaldıkları vakit başlayan ikili arasındaki "uzun arkadaşlık"tan bahsedilmekteydi.