Eiendommen ble kjøpt i 1687 av feltmarskalk Äneas Sylvius Caprara, og tolv år senere sto palasset klart, tegnet av den italienske arkitekten Domenico Egidio Rossi. Stedet var eid av familien Caprara i ett hundre år, inntil det i 1796 ble kjøpt av Carl Fürst von Liechtenstein. Året etter ble det solgt til en baron Wimmer, som i 1798 leide det ut som ambassade og ambassadørbolig for det revolusjonære Frankrike, ved dets ambassadør, general Jean Baptiste Bernadotte, senere konge av Sverige og Norge.