Etter å ha blitt enkemann giftet han seg med Mary Howard, som kon fra en plantsjefamilie i South Carolina. Hun skrev boken , hvori hun forsvarte negerslaveriet.