Fra 1710 ble Rosenborg mer eller mindre forlatt av kongefamilien. Slottet og haven ble bare benyttet en sjelden gang og eremitagen og skulpturene i haven forfalt.