Fra 1807 til 1830 var det tilknyttet det keiserlige - så det kongelige - hushold. Fra 1830 til 1849 var det Det osmanske rikes ambassade, og så den østerrikske ambassade. I 1849 tilbød Napoleon IIIs regjering bygningen til erkebiskopen av Paris (hans palass var brent ned i 1831), etter at staten hadde renovert det. Fra 1849 til 1905 var bygningens hoveddel erkebiskopens residens.