Fredrik II fikk middelalderfortet bygget om til et renessanseslott mellom 1574 og 1585 etter planer av den flamske arkitekten Hans van Paeschen. Byggingen kunne finne sted ved hjelp av en forhøyet Øresundstoll. Ved diverse makeskifter med adelen ble krongodset samlet. Slik ga det mer avkastning og kongen fikk et sammenhengende jaktterreng.