Slottet ble etter dette flere ganger benyttet som enkesete for danske dronninger. Men slottet forfalt og i 1766 ble det besluttet å selge det. Året etter ble slottet solgt på auksjon med nedrivning for øye. Bygningsmaterialer herfra kan den dag i dag finnes i hus i området slottet lå.