August Hanson var etter midten av 1800-årene gjennom ekteskap blitt eier av Vøyen og Nesøya, og han drev sammen med firmaet trelastforretning og isproduksjon på øya. Han bodde selv på gården under isskjæringen om vinteren. Isblokkene ble sendt på sklie ned til utskipningshavnene i Hestesund og Kalkbukta. Hanson solgte i 1894 øya til den svenske operasangeren Carl Hagman, som planla å bygge en herskapelig sommervilla der. Planene ble ikke realisert, og øya ble i 1896 solgt videre til eiendomsselskapet , som begynte med utparsellering av tomter for landstedsbebyggelse. Samtidig fikk øya fast dampskipsforbindelse til Kristiania med , og det ble anlagt flere dampskipsbrygger.