I 1953 bad statsminister David Ben-Gurion ham om å sette opp en egen antiterror-avdeling. Sharon opprettet "Avdeling 101", som i 1954 ble slått sammen med fallskjermstyrkene. Denne avdelingen er kjent fra episoden hvor Sharon sprengte 40 hus i en landsby på Vestbredden og 69 sivile ble drept.