Middelalderborgen ble sterkt skadet av en brann i 1492, men sto gjenreist som renessanseslott av kong Frederik I omkring 1530. Til dette arbeidet ble det benyttet stein fra nedbrutte kirkebygg i Bergen. Nyttårsnatten 1546/65 brant slottet igjen, og nå ble det utvidet til et firefløyet festningsanlegg. I årene 1697–1703 ble det ombygget og utvidet til sitt nåværende utseende i barokk stil etter tegninger av den svenske arkitekt Nicodemus Tessin d.y. for hertug Fredrik IV. Den venetianske arkitekten Domenico Pelli sto for oppføringen.