Peter von Spreckelsen døde barnløs, men slottet ble i familiens eie frem til slutten av 1720 da det ble krongods igjen. I 1721 ble det revet. Slottskirken hadde ikke vært sognekirke siden 1698. Kongen var i stedet opptatt av å utbedre Clausholm med to fløyer, og hentet byggemateriale fra Dronningborg i 1722-23. I 1725 solgte han tomten og bygningsrestene til kjøpmann Peder Biering fra Randers. Han lot bygge et bolighus til seg selv på tomten. Etter Bierings død i 1740 ble det solgt videre til justisråd Folsach. Fra 1756 heter det at slottet var revet, og i dag finnes ingen synlige rester etter det.