Etter å Gotland var overtatt av Sverige, lot generalguvernør Johan Cedercrantz anlegge et par kalkovner ved ruinene, og størstedelen av steinene ble brent til kalk som ble brukt til å oppføre Stockholms slott og noen offentlige bygninger i Karlskrona. De grove murpartiene som gjenstår i det sørvestre hjørnet er rester av fruerstuen og sørmuren. For øvrig fikk ruinen forfalle og området ble brukt av bybefolkningen som beitemark for buskap. I midten av 1700-tallet begynte området omkring nåværende Visborgsgatan åbli bebygget.