Antes de la Invasión de Irak de 2003 y el derrocamiento de Sadam Huseín, al-Khlifawi había sido un coronel del ejército iraquí que había trabajado en el desarrollo de armas y en los servicios de inteligencia del Cuerpo de Defensa Aérea. Según el periodista iraquí Hisham al-Hashimi, cuyo primo sirvió con Khlifawi, estuvo estacionado durante un tiempo en la base aérea de Habbaniya. La inteligencia iraquí dice que se unió a Al Qaeda en Irak y que participó en la insurgencia iraquí.