Etter grunnleggelsen av staten Israel i 1948 var Harel med på å grunnlegge Shin Bet, og satt som direktør frem til 1952. Senere tok han over ledelsen av Mossad ett år etter at denne ble grunnlagt i 1951. Som øverste sjef for to av landets tre etterretningsorganisasjoner har Harel utøvet betydelig makt i Israels første femten år.