Wstąpił do służb specjalnych zaraz po ich utworzeniu, w 1948 roku do Szin Betu i w tym samym roku do Wydziału Politycznego MSZ (przyszły Mosad), który do 1951 roku zajmował się wywiadem zagranicznym. Harari dowodził tajnym oddziałem odwetowym, którego zadaniem była fizyczna eliminacja terrorystów z organizacji Czarny Wrzesień, bezpośrednio lub pośrednio odpowiedzialnych za masakrę lekkoatletów izraelskich podczas Igrzysk Olimpijskich w Monachium w 1972 roku. W ciągu niecałego roku operująca z Frankfurtu nad Menem grupa Harariego zlikwidowała dwunastu Palestyńczyków związanych według Mosadu z Czarnym Wrześniem. Skazą na przebiegu operacji stało się zamordowanie niewłaściwej osoby – niewinnego Marokańczyka, żonatego z obywatelką Norwegii i pracującego w tym kraju jako kelner. Harariemu udało się zbiec wraz z jego przyjaciółką, lecz resztę jego oddziału aresztowała policja norweska. Sześciu z nich skazano na krótkie wyroki więzienne.