Lee giftet seg med Kwa Geok Choo 30. september 1950. De fikk to sønner og en datter.