Trong sự kiện Đại hồng thủy, lâu đài bị người Thụy Điển tàn phá vào năm 1655. Năm 1797, người Áo cũng góp phần tàn phá lâu đài này với việc sử dụng đá từ các bức tường lâu đài để xây dựng một phòng hải quan ở Smoleń.