Després de la Guerra de l'Afganistan, Zarqawi va fugir a l'Iraq, on presumptament va rebre tractament mèdic a Bagdad per una cama ferida. Es creu que va desenvolupar estrets llaços amb Ansar al-Islam, un grup de militants kurdoislamistes en el nord-est del país. Presumptament Ansar estava vinculada al govern del president Saddam Hussein, que hauria pretès utilitzar al grup per derrotar les forces seculars que lluitaven per la independència del Kurdistan. El consens dels oficials d'intel·ligència, no obstant això, va concloure que no hi havia cap relació entre Zarqaui i Saddam, i que de fet el president veia a Ansar al-Islam com una amenaça que havia d'espiar. L"'Informe del Senat sobre la Intel·ligència de l'Iraq abans de la guerra" va concloure el 2006 que Saddam Hussein fins i tot va intentar, sense èxit, localitzar i capturar a al-Zarqaui i que el règim no tenia cap relació amb ell.