તેમને પ્રતિષ્ઠિત વોલ સ્ટ્રીટ બેન્કર માનવામાં આવે છે, અને 7 નવેમ્બર, 1849 ના રોજ, તેમણે કોમોડોર મેથ્યુ પેરીની પુત્રી કેરોલિન પેરી સાથે લગ્ન કર્યા હતા, એક અગ્રણી નૌકાદળ અધિકારી.