В Иордании сыграл важную роль во время событий сентября 1970 года («Чёрный сентябрь»), организовав снабжение осаждённых палестинских опорных пунктов Джарашa и Аджлуна. После поражения ООП вместе с другими лидерами ООП перебрался в Ливан, где создал разветвлённую инфраструктуру, фактически государство в государстве. Официальное правительство Ливана фактически потеряло контроль над южными районами страны, контролируемыми ООП. Также Абу Джихад руководил созданием подпольных ячеек на Западном берегу Иордана и в секторе Газа. С помощью стран социалистического лагеря добился перевооружения вооружённых сил ООП и превращения их в настоящую армию.