Lee está casado desde el 19 de diciembre de 1970 con Kim Yoon-ok y tiene cuatro hijos: Lee Ju-yeon (1971), Lee Seung-yeon (1973), Lee Su-yeon (1975) y Lee Shi-hyeong (1978).