Slottet ble bygget om en rekke ganger og på begynnelsen av 1700-tallet endret Frederik IV det fullstendig. Ombyggingen var ikke vellykket, da vekten var for stor og for dårlig fordelt, slik at murene begynte å revne. Rundt 1730 besluttet Christian VI å rive det ned samt å bygge det første Christiansborg.