У Ли
13 июня 1793 на плантации Ширли, Ли женился на Анне Хилл Картер (1773—1829). Она была дочерью Чарльза Картера, сквайра, и Энн Батлер Мур. Она была потомком короля Роберта II Шотландского через . У Ли и Анны было шестеро детей, старший умер в младенчестве в 1796 году.