Вторгнення шведів у 1655 році поклало край процвітанню замку. Його перетворили на продовольчий склад, костел був зруйнований, а місто розграбоване. Зі середини XVIII століття замок став власністю короля Августа II Сильного, а згодом його сина — Августа III Фрідріха. Вони лише здійснили певні спроби ремонту замку. Після першого поділу Речі Посполитої в 1772 році замок і місто перейшли під владу Австрії. Австрійці змінили вигляд замку, призначивши його під казарми, та розібрали третій поверх, зміцнили мури контрфорсами. З другої половини XIX століття до Першої світової війни замок виконував житлові та складські функції. У міжвоєнний та післявоєнний період замок був громадським об’єктом. Після Другої світової війни будівля поступово почала занепадати. У 1991 році замок став власністю гміни, з того ж часу розпочалися комплексні роботи з його реновації. Ремонтні роботи було завершено в 2007 році.