I 1740-årene giftet han seg med Margaret Burr, en ikke-ektefødt datter av Hertugen av Beaufort, som gav dem £200 årlig.