Men det var særlig den radikale ombyggingen av den gamle middelalderborgen til et renessanseslott som ga borgen den nye silhuetten vi kjenner i dag. Restene av det gamle hovedtårnet ble revet, og trappetårnene og ble reist. Bygningene rundt borggården ble gjort sammenhengende ved ombygginger og tilbygg. Det gamle kruttkammeret under slottskirken ble ominnredet til fire fangehull, hvorav to fortsatt eksisterer. Kongens og stattholderens rom ble utbedret og rikt innredet. Den nye borgen og slottet framsto i sin samtid som en by i byen.