Estuvo casado con Kathy Robinson entre 1961 y 1964, con quien tuvo su primer hijo, Lee Jr.