Samtidig ble det klart at slottet var blitt for lite til å fungere som tidssvarende fyrsteresidens og administrasjonssentrum og det ble oppført en rekke bygninger i nærheten av slottet. Formodentlig allerede under Christian III ble det oppført en bygning på kaien foran slottet som skulle inneholde kongens kancelli. Under Christian III og hans sønn Frederik II ble det oppført et tøyhus ved stranden syd for slottet og under Frederik II sannsynligvis også et provianthus.