У 1648–1651 рр. архітектура замку була ушкоджена артилерійськими обстрілами козацької навали війська Богдана Хмельницького з татарами, а в 1655 р. під час Північної війни 1655—1660 рр. замок постраждав від нападу армії шведів. Він часто змінював власників, переживав військові напади і пожежі, і знову — відновлення.