Schwartz vokste opp i New York i depresjonstiden i New York. Han fikk sin store interesse for fysikk i 12-års-alderen. Han gikk på Bronx High School of Science.