Den nåværende hovedbygning er oppført av Tycho Brahes bror Knud i 1592, og skal etter sigende været tegnet av førstnevnte. Knud delte i begynnelsen eierskapet med sin svoger alkymisten Erik Lange, som var gift med Knuds søster Sophie.