I 1609 begynte ombyggingen av gården til slott, og ni tilgrensende tomter ble innkøpt. Byggeleder og arkitekt var den nederlandsk-danske Hans van Steenwinckel den eldre, som i 1601 døde, mitt under byggingen. Han ble begravet i St. Nikolai kirke, og hans elev byggmester Willum Cornelissen overtok byggearbeidet.