マーサ・ワシントン
リーはジョージ・ワシントンとは養子縁組で5代目の子孫にあたる。リーの母、メアリー・アン・ランドルフ・カスティスはワシントンの妻マーサ・ワシントンの曾孫であり、ワシントン夫妻が1759年に結婚する前、当時大佐のワシントンが未亡人だったマーサと交際したのが、当時住んでいたニューケント郡のホワイトハウス・プランテーションでのことだった。このプランテーションをリーは相続した。