Tras ser sorprendentemente liberado, volvió a Versalles donde se convirtió en uno de los personajes más próximos a Luis XV y a madame Pompadour, con la que se le llegó a relacionar íntimamente.