После увольнения из ШАБАК Хармелин занимал административные должности в ряде компаний (в частности в качестве генерального директора государственной компании «Бинуй у-Фитуах», а затем компании «Ширутей Нефт»), а в 1978 году был включён в состав комиссии Шимрона, расследовавшей вопросы организованной преступности в Израиле. Позже был направлен на дипломатическую работу. В 1979 году он возглавлял израильское дипломатическое представительство в Иране, когда там произошла исламская революция, и находящихся в стране израильтян необходимо было срочно эвакуировать. Хармелин через посредников вышел на премьер-министра Ирана Мехди Базаргана и сумел добиться от него согласия на одновременную эвакуацию всех израильтян из Ирана на американских самолётах, которая состоялась 18 февраля. В 1981 году Хармелин был назначен послом Израиля в ЮАР. По возвращении из Африки он занял пост заместителя генерального директора в ведомстве государственного контролёра, где также отвечал за контроль за деятельностью вооружённых сил и спецслужб.