Det gamle hovedhuset på Frydenhaug ble oppført i tre byggetrinn. Den venstre delen ble reist i 1785 som en etasjers lystgård. Hovedbygningen på to etasjer ble oppført 1797 sammen med to driftsbygninger. Det tredje byggetrinnet ble utført 1847–48, hovedbygningen ble samtidig modernisert og utvidet med en lav fløy mot øst, slik det står i dag. Hovedhuset har høy verneverdi og ble nyrestaurert i 2016 for cirka 7,5 millioner kroner.