Under den engelske borgerkrig ble slottet delvis ødelagt, og kort tid etter ble det oppgitt. Den siste store strukturen kollapset i 1815, og det er nå bare ruiner igjen. Slottet var for det meste bygget i grønnstein fra Spilsbyområdet, og hadde opprinnelig en vollgrav.