家庭.李氏曾三娶，首妻唐瑛，是上海社交名媛，传为南宋名吏唐仲友之后人，后因性格不合离异，唐改嫁容显麟，是香港渣打买办容翼庭之子，其侄儿容永道为香港知名会计师。。二妻艾瑟尔·陈（英文 Esther Chan），三娶胡彩琪。独子李名觉，唐瑛所出，为美国舞台艺术大师，曾获美国。妻Elizabeth Rapport。育有三子，汝安，汝瑛，汝名。李氏祖孙三代均毕业于美国耶鲁大学。