ヘンリー・リー (3世)
2人の間には6人の子が生まれた。その5番目の子ロバート・エドワード・リーが後に南北戦争の南軍将軍として勇名を上げた。妻のアンはシャーリーの裕福なチャールズ・カーターとアン・バトラー・ムーア夫妻の娘であり、バージニア植民地知事アレクサンダー・スポッツウッドやロバート・カーター1世の子孫であり、さらに遡れば、トマス・モアやクローフォード第2代伯爵を通じてスコットランド王ロバート2世に辿り着いた。
リーは、アーロン・バーとの共同経営を含め、かなり投機的な事業に手を出し、行き詰まってしまった。アメリカ合衆国建国の父達の間では、財政的投機は希ではないことであったが、リーのやり方は全く的が外れており、家族にまで苦しい思いをさせた。1810年、債権者の要求に応えるために、また債務者刑務所から出所するために、リーはすべての財産を処分することになった。
リーはバージニア州のダムフリーズの近くで生まれた。父はイングランド系の少将のヘンリー・リー2世(英語版)(1730年 - 1787年、"Leesylvania")、母親はルーシー・グリムズ(1734年 - 1792年、the "Lowland Beauty")である。リー自身はヘンリー・リー3世である。父親の従兄弟には大陸会議の第6代議長リチャード・ヘンリー・リーがいる。母親の姪はバージニア邦知事トマス・ネルソン・ジュニアの妻である。リーの曾祖母メアリ・ブランドは合衆国大統領トマス・ジェファーソンの大叔母である。リーの祖先を辿れば、イングランド王ジョン(在位:1199年 - 1216年)、エドワード1世(在位:1272年 - 1307年)、エドワード2世(在位:1307年 - 1327年)、エルサレム王ジャン・ド・ブリエンヌ(在位:1210年 – 1212年)、カスティーリャ王ペドロ1世(在位:1350年 - 1366年、1367年 - 1369年)に行き着く。
リーは法律家になることを目指し、1773年にニュージャージー大学(現在のプリンストン大学)を卒業した。しかし、その後直ぐにアメリカ独立戦争が勃発し、リーは革命軍の士官になった。