29 października 1825 r. poślubił owdowiałą Marianne Patterson, wnuczkę ostatniego żyjącego sygnatariusza deklaracji niepodległości Charlesa Carrolla. Małżonkowie nie mieli razem dzieci.