અગ્રણી વર્જિનિયા પરિવારના એક સભ્ય, લીના પિતા રિચાર્ડ હેનરી લીના બીજા પિતરાઇ ભાઈ હતા, જેમણે પાછળથી કોન્ટિનેન્ટલ કોંગ્રેસના પ્રમુખ તરીકે સેવા આપી હતી.