Heretter solgtes slottet til kong Frederik IV, men han var ikke interessert i vedlikeholdelse og lot det forfalle. 10 år senere ble det revet ned og materialerne gjenbrukt i nærliggende byggeprosjekter.