A la muerte del conde de La Tour d'Auvergne en 1753, la marquesa de Pompadour compró el palacio para que fuera su residencia parisina, y lo legó a Luis XV a su muerte en 1764.