På Karl III Johans tid ble omgivelsene sør for slottet oppgradert, der arkitekt Per Axel Nyström i 1834 bygde om . Ellers hendte det ikke mye og slottet begynte å forfalle. En samtidig kronikør skrev blant annet: . Det forekom også auksjoner der inventar ble solgt for skrappris og fjernet.