I 1578 overdro Frederik II slottet til Karen Krabbe, hvis datter Ingeborg Skeel overtok slottet og oppførte renessansehuset som sto ferdig i 1588. Sandstensportalen, som var tiltenkt Frederiksborg slott, er en gave fra Frederik II. Ingeborg Skeel ble av samtidige bønder opplevd som en tyrann og hun er da også blitt Voergaards stadig tilbakevendende spøkelse.