Potop szwedzki zapoczątkował upadek miasta. W 1655 r. miasto bez walki zajęli Szwedzi, którzy wycofali się również bez walki jesienią 1656 r., jednak w latach 1656–1659 dochodziło do ataków szwedzkich (w sumie 5), które co prawda zostały odparte, ale znacznym zniszczeniom uległa okolica miasta, jak i (według podań ludowych) sam zamek, w którym eksplodował magazyn prochu i amunicji. Ponadto w 1657 r. miasto spustoszyła zaraza, a w 1685 r. poważny pożar dopełnił dzieła zniszczenia i do połowy XVIII w. miasto nie odbudowało zniszczeń.