Den berømte båtkonstruktøren Colin Archer ble født i den opprinnelige tollboden i 1832, og vokste opp der. I voksen alder bosatte han seg på naboeiendommen, som fikk navnet «Lilleodden». Mot slutten av 1800-tallet bodde de fargerike søstrene Mary og Jane Ann Archer der. Mary Archer var aktiv seiler og uortodoks i meninger og opptreden for sin tid. Hun etablerte et barnehjem, og var en av initiativtagerne til organisasjonen Musikkens Venner. Jane Ann Archer var en ivrig blomsterdyrker og pianospiller. Tolderodden ble et møtested for familiemedlemmene i deres verdensomspennende aktiviteter; flere av familiemedlemmene drev landbruk i Australia.