Da Christian VI døde i 1746, overtok dronning Louise slottet, hvor hun bodde til sin død i 1770. Deretter det gikk over til Christian VII. I «Hirschholm-sommeren» i 1771 tjente slottet som sommerresidens for hoffet, og dronning Caroline Mathilde fødte hofflegen Struensees uekte barn Louise Augusta. Etter Caroline Mathildes landsforvisning og Struensees henrettelse i 1772 ble slottet ikke lenger brukt av de kongelige og det forfalt inntil 1810, da Frederik VI besluttet å rive det. Deler av materialene ble brukt til oppføringen av det andre Christiansborg slott.