I sin flerhundreårige historie er slottet mange ganger blitt skadet og plyndret av svenske, brandenburgske, tyske og russiske hærer. Slottet ble delvis ødelagt av tyske bomber under invasjonen av Polen, og ble sterkt skadet av tyskerne under Warszawaoppstanden. Det som var igjen ble sprengt i luften av tyske ingeniører september 1944.