Efter midten af det 17. århundrede kom der en alvorlig nedgangsperiode. Krigen 1657-60 gjorde sit; dertil kom, at mange af byens rige familier efter 1660 købte godser og drog deres formuer fra byen, men mest har en voldsom brand i 1671 skadet byen. I 1672 havde den 2.036 indbyggere. Som vidnesbyrd om dens tilbagegang kan nævnes, at den i forordningen af 28. januar 1682 ikke var blandt de byer, hvem det var tilladt at drive handel med udlandet, en bestemmelse, der dog allerede blev modificeret ved reskript af 16. august 1687 og ophævet den 6. marts 1689. Denne nedgang varede til langt op i det 18. århundrede, da der atter kom nogen fremgang, særlig på grund af gunstigere handelsforhold under den Nordamerikanske Frihedskrig og følgende år. Sejladsen på fjorden blev forbedret, og der byggedes større skibe, der sejlede på Frankrig, Spanien og Vestindien. Der kom atter velstand til byen, og dens folkemængde tog stærkt til. I 1769 havde byen 2.718 indbyggere. Vel satte Englandskrigen 1807-14, hvorunder i 1808 byen en tid havde indkvartering af 2 spanske rytterregimenter, og kort efter blev den depot for engelske krigsfanger, og de følgende trange år efter krigen den noget tilbage, men den genvandt det snart.