Heller var gift med Shirley Held fra 1945 til 1981. De fikk to barn, Erica (født 1952) og Ted (født 1956).