Під час шведського потопу, в 1657 році, шведи під командуванням генерала Мюллера сильно зруйнували замок. Наступним власником замку стала родина Менцінських із Жарек, але у 1661 році замок було покинуто і він почав занепадати. Коли у 1683 році король Ян ІІІ Собеський по дорозі до Кракова — місця зосередження польських військ перед віденською битвою — він розбивав табір поруч із замком.