W・H・F・リー
リーは2度結婚した。初めは1859年に弁護士ジョン・ウィッカムの子孫であるシャーロット・ウィッカムとだった。この二人には男と女の子がそれぞれ1人ずつ生まれたが、幼時の間に死んだ。シャーロットは1863年に死んだ。
1867年11月28日、ロバート・ボーリングとその2回目の妻アン・スティスの子孫であるメアリー・タブ・ボーリングと再婚した。この夫妻には子供が2人生まれ、共に成人になった。ピーターズバーグで1869年2月11日に生まれたロバート・エドワード・リーとレキシントンで1872年8月30日に生まれたジョージ・ボーリング・リーだった。
リーはジョージ・ワシントンとは養子縁組で5代目の子孫にあたる。リーの母、メアリー・アン・ランドルフ・カスティスはワシントンの妻マーサ・ワシントンの曾孫であり、ワシントン夫妻が1759年に結婚する前、当時大佐のワシントンが未亡人だったマーサと交際したのが、当時住んでいたニューケント郡のホワイトハウス・プランテーションでのことだった。このプランテーションをリーは相続した。