I 1765 ble palasset kjøpt opp av Skattkommisjonen og omgjort til departementsete. I 1783 ble palasset ombygd etter en brann etter tegninger av Domenico Merlini. I Kongdømmet Polen ble Sejmrettens møter holdt her i årene 1827–1828. Palasset ble brent ned under Warszawaoppstanden i 1944, og gjenoppbygd etter krigens slutt. Det huser i dag restene (kun 5 %) av 40 000 håndskrifter fra Rapperswil- og Załuski-biblioteket, samt andre gammelskrifter og kart. Av betydning er særlig svært verdifulle illuminerte polske og utenlandske middelaldermanuskripter. Palasset huser også en tematisk samling om Den store emigrasjon (1831–1883) og skriftlige minnesmerker etter Cyprian Kamil Norwid.