I 1773 ble det kjøpt av Nicolas Beaujon, bankier for hoffet og en av de rikeste i Frankrike, som hadde behov for et egnet luksuriøst «landlig palass» (ettersom byen Paris ennå ikke strakte seg hit) for å huse hans storstilte malerisamling av store mestre. Han ansatte arkitekt Étienne-Louis Boullée for å gjøre betydelige endringer av eiendommen, inkludert å utforme et hageanlegg i engelsk stil. Deretter ble huset fylt med velkjente mesterverk som Holbeins Ambassadørene (i dag i Nasjonalgalleriet i England) og Frans Hals’ (eller ; i dag ved Louvre). Hans arkitektoniske endringer og kunstgalleriet ga palasset et internasjonalt omdømme som «et av de fremste hus i Paris».