Sus padres se divorciaron cuando él tenía tres años y cuando su madre se volvió a casar, Koufax tomó el nombre de su nuevo marido, Irving.