Bygningens nåværende navn stammer fra Edvard Griegs morfar, stiftsamtmann Edvard Hagerup. Hagerup kjøpte eiendommen av sin svigerfar, hoffagent Herman Didrich Janson (1757–1822), som også eide Damsgård Hovedgård. Ettersom Janson overtok gården etter den hadde vært gjennom en periode med stor slitasje, stammer trolig husets nåværende interiører i klassisisme fra tiden mellom 1805 og 1809. Edvard Hagerup eide huset fra 1809 til 1853, og dagens fargesetting stammer fra denne perioden.