Hovedhuset på Frydenhaug ble oppført i tre byggetrinn. Den venstre delen ble reist i 1785 som en etasjers lystgård av tollskriver Job Arveschoug. Hovedbygningen på to etasjer ble oppført av major Peter Falck von Koss, i 1797 sammen med to driftsbygninger. Det tredje byggetrinnet ble utført av Niels Kiær i perioden 1847-48, hovedbygningen ble samtidig modernisert og utvidet med en lav fløy mot øst. Hovedhuset har høy verneverdi og ble nyrestaurert i 2016 for cirka 7,5 millioner kroner.