Sus relaciones con una bailarina, a la que también cortejaba Giacomo Casanova durante su estancia en Barcelona, supuso la destitución del Capitán General.