Etter hvert ble slottet nedslitt og i 1588 godkjente Kong Frederik II arkitekt Philip Brandins utkast til et nytt slott. Kongen døde samme år og det ble hans unge enkedronning Sophie som kom til å forestå oppføringen. Etter ektefellens død hadde hun fått krongodset som , dvs. som enkepensjon.