Después de que muriera Lady Walpole, se casó con su amante, Mary Skerritt, el 3 de marzo de 1738.