Había estado casado tres veces: la primera vez con su prima, Lucy Rickman of Lewes; la segunda con Christiana Hornor; la tercera con Elizabeth Miller de Edimburgo, de quien tuvo un hijo y una hija.