Etter flere generasjoner i denne slekt kjøpte Erik Axelsen Rosenkrantz området i 1610, og på 1630-tallet bygget Erik Rosenkrantz et trefløyet renessanseanlegg som avløsning for middelalderens stengård. Han var påvirket av staten og prakten under adelsveldet under Christian IVs lange regjeringstid, og det falt derfor naturlig for ham å bygge en prektig bygning, i Christian IVs nordiske renessansestil, kanskje en av datidens fornemste av sin slags.