Jabarkan Kehidupan peribadi dari H. S. Lee dalam bahasa melayu

Lee bertemu isteri pertamanya Dawn Kathleen Glen, seorang wanita Inggeris, semasa belajar di Cambridge. Mereka mempunyai dua anak lelaki, Douglas dan Vivien Leslie, di Hong Kong. Glen kembali ke Britain untuk selamanya bersama Vivien selepas berselisih dengan ibu Lee, yang tidak suka menantu perempuannya yang suka merokok dan kereta sport. Lee berkahwin dengan isteri keduanya, Kwan Choi Lin, dengannya dia mempunyai tujuh lagi anak. Dia menamakan anak-anaknya mengikut tempat di mana mereka dilahirkan.

Dua orang anak lelakinya juga menceburi bidang politik. Douglas Lee Kim Kiu bertanding dengan jayanya dalam pilihan raya Kuala Lumpur 1952 manakala Alexander Lee Yu Lung berada dalam MCA sebentar sebelum menyertai Gerakan dan menyandang beberapa jawatan timbalan menteri antara 1989 dan 1995.

Lee mempunyai seorang cucu bernama Kenneth Lee Fook Mun, @ Omar Iskandar Lee Abdullah, yang terlibat dalam insiden samseng jalan raya yang mengakibatkan kematian seorang akauntan wanita bernama Linda Lee Good Yew pada Ogos 2000. Kenneth pada mulanya dijatuhi hukuman 8 tahun. dalam penjara kerana pembunuhan bersalah pada Julai 2003. Tetapi selepas itu, pada Mac 2005, selepas rayuan pihak pendakwaan ke mahkamah tinggi Malaysia (Mahkamah Rayuan Malaysia), dia didapati bersalah membunuh dan dijatuhi hukuman mati, yang disahkan oleh mahkamah tertinggi Malaysia (Mahkamah Persekutuan Malaysia) setahun kemudian. Bagaimanapun, pada Januari 2008, sementara menunggu hukuman mati, baginda telah diberikan pengampunan oleh Yang di-Pertuan Agong, menyebabkan hukuman mati baginda ditukar kepada penjara seumur hidup.