Herzlich naît à Kirkwood, dans le Missouri, fils de Barbara Read (née Martin), ancienne joueuse de tennis, et de Sandon Mark Herzlich. La famille juive ashkénaze de son grand-père paternel quitte l'Autriche après l'annexion allemande. Son père est élevé dans la religion juive et se convertit au protestantisme à la naissance de Herzlich. Il a un frère, Bradley Martin, qui est membre de l'équipe de football américain des Bears de l'université Brown.