Mais, après la construction de son magnifique château de Montrouge vers 1750, il délaisse le château de Champs et cherche à vendre le domaine. Faute de trouver un acquéreur, il le loue entre et à la marquise de Pompadour, dont il est l'ami, pour par an. En , celle-ci y reçoit le prince de Soubise au retour de la défaite de Rossbach.