Sự khởi đầu của sự suy tàn của lâu đài bắt đầu từ năm 1587, khi nó bị tàn phá nặng nề trong cuộc xâm lược của Maximilian III, Archduke của Áo, một đối thủ của Sigismund III Vasa lên ngai vàng Ba Lan. Lâu đài được xây dựng lại bởi các chủ sở hữu lúc đó là gia đình Krezowie, nhưng vào năm 1657, trong thời kỳ Đại hồng thủy, nó đã bị cướp phá và hoàn toàn bị phá hủy bởi quân đội Thụy Điển. Tình trạng của thành trì tồi tệ đến mức khi vua John III Sobieski đến đây vào năm 1683, ông phải qua đêm trong một cái lều.