Fue apartado del poder en 1768, aunque siguió ocupando su puesto de parlamentario.