Së bashku, ata kishin dy vajza, Joan Celia ""J.C."" Lee (l. 1950) dhe Jan Lee, e cila vdiq tre ditë pas lindjes në vitin 1953. Në 1949, çifti bleu një shtëpi dykatëshe me tre dhoma gjumi në Woodmere, Long Island, New York, duke jetuar atje deri në vitin 1952.