Den store landskapshaven ned mot sjøen, med spaserganger, brygger, lysthus og nytte- og prydvekster, ble anlagt frem mot 1850. I hagen står Mary Archer Heggens byste av Colin Archer, som ble avduket i 1950. Tolderoddens østre sidefløy fikk sveitserstilutforming i 1873. Frem til 1939 var bygningen og eiendommen eid av ulike medlemmer av familien Archer.