En 1855 se casa con la hermana más joven de su madrastra, Elizabeth Haygarth, y adoptarán tres niños.