Peres ble født den 2. august 1923 i småbyen Wiśniewo i en del av daværende Polen (som nå er Visjnyeva i Belarus). Familien snakket hebraisk, jiddisch og russisk i hjemmet, og han lærte seg polsk på skolen. Senere i livet lærte han seg dessuten engelsk og fransk. Hans far var tømmerhandler, og hans mor var bibliotekar.