Efter å ha blitt sterk skadet etter nær ett århundre under okkupasjon under Napoleonperioden, ble slottet renovert på slutten av 1800-tallet. I 1813, etter at Dominik Radziwiłł døde, ble slottet arvet av hans datter Stefania, som giftet seg med Ludwig av Sayn-Wittgenstein-Berleburg. Slottet ble senere overtatt av deres datter Maria som igjen giftet seg med prins Chlodwig Hohenloche-Schillingfurst. Deres sønn Maurice Hohenloche-Schillingfurst solgte slottet til Mikolaj Swiatopelk-Mirski av Bialynia i 1895. Mikolajs sønn Michal Swiatopelk-Mirski begynte å ombygge slottet etter tegninger fra arkitekten Teodor Burszes. Familjen Swiatopelk-Mirski eide slottet fram til 1939. Under andre verdenskrig ble slottet brukt som base for den tyske okkupasjonsmakten, og ble brukt til internering av jøder.