У Ли
5 декабря 1757 года Ли женился на Энн Эйлетт (1738 - 1768), дочери Уильяма Эйлетта и Элизабер Эскридж. Она умерла в Шантильи в 1768 году. У Ли и Энн было шесть детей, четверо из которых дожили до взрослого возраста. Летом 1769 года Ли повторно женился на Энн Пинкард. У них было семь детей, из которых детский возраст пережили пятеро.