I 1657 beæret kong Frederik III byen med sitt besøk, og året etter gikk Simrishamn over til Sverige. Den svenske arméen hogg ned den omkringliggende bøkeskogen, for å unngå at motstandsmenn og snapphaner kunne gjemme seg i den. Beboerne sørget over tapet av skogen, og over at svinene ikke lenger kunne finne føde i den. Det ble innført toll og restriksjoner på handelen med Danmark og Bornholm, hvilket medvirket til at byen gikk i dvale i en lengre periode.