Lee mistet sin første kone Anneliese i 1984. Senere giftet han seg med Hae Jong. I sitt første ekteskap fikk han døtrene Anja Lee (født i 1967), som i dag er barnelege, Sonja Lee (født i 1971), kokk, og Irina Lee (født i 1976) som er journalist.