Fra ung alder ble han kjent for sine talegaver, og han ble valgt som protesje av David Ben Gurion, Israels grunnlegger. Peres innvandret fra Polen i 1934 og begynte sin politiske karriere i slutten av 1940-årene. Han hadde flere diplomatiske og militære posisjoner under og rett etter den arabisk-israelske krig 1948. Hans første posisjon på høyere nivå i regjeringen var som assisterende generaldirektør for forsvaret i 1952 som han fikk i en alder av 28 år, og som generaldirektør fra 1953 og fram til 1959. I 1956 deltok han i de historiske forhandlingene om Sèvres-protokollen og ble ved den anledningen beskrevet av den britiske statsministeren Anthony Eden som den «høyeste form for statsmannskunst».