På begynnelsen av 1700-tallet gikk palasset over til Zamoyski-ordinatenes familie (palasset ble senere kalt for «ordinatpalasset»). I 1771 tilhørte palasset Czapski-familien og senere Chodkiewicz-familien. I 1820 ble palasset kjøpt av politisekretæren Michał Gajewski, som i senere tid ombygde det. Også palassindret fikk nye funksjoner, og huset henholdsvis et lasarett, en gummifabrikk, Helsehuset og Institutt for bortglemte barn.