Etter Christian Vs død i 1699 overtok dronning Charlotte Amalie paléet som enkesete i 1700 for en sum av 50 000 kronedaler. Heretter ble det kalt Charlottenborg.