Tilbagegangen for byen begyndte med Karl Gustav-krigene 1658–60, da slottet blev ødelagt, og da byen led under fjendens hærgninger, og den sank snart ned til at være en ubetydelig by.