Hans foreldre var jøder av ungarsk herkomst. Hans far Louis (1916–1995) var professor ved et college. Han spilte kontrabass og var dansebandleder som opptrådte under navnet Lee Sims. Hans mor Belle (1910–2007) var folkeskolelærer. I 1945 flyttet familien hans til Kew Gardens Hills-delen av Flushing, Queens, i New York. Simon spilte baseball og stikkball som barn. Han beskrev sin far som morsom og smart, men sa at han jobbet tidlig og sent og hadde ikke mye tid til overs for sine barn.