ફોર્ટ્રેસ મોનરોમાં લી, લીના બાળપણના મિત્ર મેરી અન્ના રેન્ડોલ્ફ કસ્ટિસને 30 જૂન, 1831 ના રોજ લગ્ન કર્યા હતા.