Under den skånske krig befalte Karl XI at borgen skulle rives ned. En arbeidsstyrke på tyve menn skulle til å gå i gang med nedrivingen, men før de hadde rukket å bore sprengstoff inn i de 2,5 meter tykke murene ankom en dansk flåte til Ystads havn, og de kongelige hærverksmennene forsvant.