Frydenhaug var opprinnelig en husmannsplass under Austad(Haugen) da den i 1783 ble kjøpt av tollskriver Job Arveschoug som var eier fram til 1796. Fra 1810 til 1846 var den i familien Anchersens eie. Fra 1846 til 1893 var gården eid av grossist Niels Kiær, bror av Hans Kiær. I perioden Niels Kiær var eier ble det foretatt store ombygginger av eiendommen, det var på denne tiden det ovalformede park- og hageanlegget ble anlagt. Dekorasjonsmaleren Halldor Hjerleid(1821-1881) ble engasjert til å dekorere hagestuen med norske landskapsbilder. I 1902 ble eiendommen overtatt av skibsassurance direktør Ole Chr. Wikborg. Fra 1941 og fram til 1973 var eiendommen eid av familien Friis, da den ble den overtatt av Drammen kommune. Gården ble da tilpasset å huse Drammens offentlige spesialskole som i dag heter Frydenhaug skole.