Konsul Hans Herloffsen oppførte den nye hovedbygning i sveitserstil i 1857. Bygningen har tre stuer på rekke med utsikt over Langsæparken. Ifølge folketellingen 1865 bodde det da åtte mennesker i huset: Hans og Hanna Herlofsen (som da var 61 og 59 år gamle), deres døtre Constance og Jacobine (20 og 18 år gamle). Også deres tre tjenestejenter og en tjenestekarl bodde i huset. Gården hadde 4 hester, 4 kuer og 2 svin. Uthusbygningen med fjøs, stall og låve sto parallelt med våningshuset, der museumsbygningen står i dag.