Det antas at al-Zarqawi og Osama bin Laden begge ble kjente som som ledet utenlandske soldater i krigen mot sovjetiske okkupasjonsstyrker i Afghanistan på 1980-tallet. Etter Sovjetunionens nederlag dro al-Zarqawi tilbake til Jordan med en radikal, islamittisk agenda.