બે વર્ષ બાદ, તેમણે નોર્ફોકની વર્જિનિયા લોયમ સાથે લગ્ન કર્યાં, જેની સાથે તેને 1844 માં એક પુત્ર, લોયાલ ફારગટ્ટનો લગ્ન કરાવ્યો.