Han giftet seg aldri, men bodde sammen med Mary Anne Doughty og hadde seks barn sammen med henne.