I 1850-årene ble den høye, hvite renessansemuren revet for å åpne utsynet og hagen mot naturen omkring. Etter tidens stil og ideal ble det anlagt en romantisk landskapspark med mange stier, benker med utsikt over fjell og fjord, samt en eventyrstue med gresskledd tak. Alt ble harmonisk integrert i naturen omkring, som også på en måte blir en del av hele ensemblet med Baroniet og dens hage, midt mellom fjellene Melderskin og Malmangernuten, og mellom Hattebergfossen og Hardangerfjorden.