Fra 1570-tallet nevnes de gårdene nå som nå finnes i Storsand-området: Sand (seinere Storsand), Ødegården (tidligere Torgersrud), Grønsand, Sundby, Slottet, Børsand og Burud. Ved Slottet var det fergested for transport over Drøbaksundet. Havna Sandspollen ved Slottet var også en viktig lasteplass for trelast på 1600-tallet og 1700-tallet. Det ble derfor oppretta et tollsted her, , på 1600-tallet. Tolleren bodde på Storsand fra 1641. I 1707 ble tollboden flytta til Drøbak.