En 1768 su hermano menor James lo reemplazó tras su renuncia, dedicando más tiempo a su cargo como miembro del Parlamento de Kinross.