Con su esposa y sus hijos, vive retirado en el campo, en Cliveden, luego de haber sido desterrado de la corte en 1737.