En 1747 se casó con Mary Meade, acomodada terrateniente en el condado de Buckinghamshire, con quien tuvo una hija, Polly a quien siempre dedicó una gran atención.