Gården har historie tilbake til 1500-tallet, og er nevnt som «Hougedall» i 1593. Nils Willumsen, som var tobakkspinner og kjøpmann, eide gården på slutten av 1700-tallet. Gården ble så eiet av Isaac Leth, som fikk den via hans kone, som var Willumsens datter. Den ble så solgt videre til i 1826 til Jan Erlandsen Brun for 3000 speciedaler. Erlandsen arbeidet som overstiger ved Fritzøe jernverk, og var bestyrer for Solborg, Væding og Lerestveit gruver. Arendal kommune overtok gården fra 1880, og de såkalte «Høgedalsterrassene» ble innlemmet i Arendal kirkegård. Hovedbygningen ble omgjort til lasarett samme år, for å behandle personer med epidemier. Det var i bruk som epidemilasarett frem til 1945, og etter dette som rekonvalesenthjem for pasienter fra Sørlandet sykehus Arendal. Fra ca 1970 har byggene blitt brukt som kontorer og lokaler for kirkevergen og bygartneren i Arendal kommune.