1840 માં રાજીનામું આપ્યા બાદ, તેઓ થોડા સમય માટે કેન્ટકીમાં આવ્યા જ્યાં તેમણે એલિઝા ગ્રિફીન સાથે 1843 માં લગ્ન કર્યાં.