Herzberg estudió en la Universidad de la Ciudad de Nueva York, pero al estallar la Segunda Guerra Mundial interrumpió sus estudios para enrolarse en el ejército estadounidense.