I 1839 giftet han seg med Mary Anne Wyndham Lewis, enken etter en av hans nærmere venner. Hun døde i 1872.