Al-Yazid var fengslet i tre år i Egypt på grunn av sitt engasjement i attentatet mot Egypts president Anwar Sadat i 1981. I løpet av de tre årene i egyptisk fengsel ble han med i Egyptisk Islamsk Jihad, og i 1988 dro han til Afghanistan der han spilte en stor rolle i grunnleggelsen Al-Qaida.