Al llegar a Francia y entablar amistad con el rey Luis XV y madame de Pompadour ocasionó la envidia de los cortesanos y de una parte de la aristocracia, siendo perseguido por detractores como Casanova, el Duque de Choisseul y el señor D'Affy.