Nåværende hovedbygning ble oppført av skipsreder Ole Boe i perioden 1859-1864. Tegningene til huset ble laget av den sveitsiske arkitekten Meinich, og det antas at det ble oppført av byggmester Heinecke.