Hay algunos reportes que indican que a mediados de 1990, Zarqawi viajo a Europa para iniciar la organización paramilitar al-Tawhid, un grupo dedicado a instaurar un régimen Islámico en Jordania.