Men så den 24. november 1989 ble Azzam og hans to sønner Ibrahim og Muhammad sammen med flere andre drept utenfor en moske mens de var på vei til fredagsbønnen i Peshawar. De som sto bak eksplosjonen var ukjente leiemordere som detonerte tre landminer da Azzam sin bil nærmet seg moskeen. Bomben som ble detonert bestod av anslagsvis 20 kg TNT. Azzam og hans to sønner ble begravet på et gravsted for martyrer i Peshawar.