Las intrigas contra él habían conseguido, sin embargo, que su popularidad aumentase, la cual era ya de por sí importante, y durante su destierro que duró hasta 1774, es visitado, frecuentemente, por personajes importantes de la nobleza.