Før 1897 fantes det ingen tettbebyggelse på Tofte. Bosetninga på stedet besto av gården Tofte, med underliggende husmannsplasser. Tofte gård er først kjent nevnt i biskop Eysteins jordebok fra 1390-åra, men gården er sannsynligvis langt eldre. Fra slutten av 1500-tallet viser bevarte skattelister at Tofte var en av Hurums største gårder. Så seint som i 1891 bodde det imidlertid kun 16 personer på Tofte. Det gamle tettstedet i denne delen av Hurum var Filtvet. Ved Sagene ble det anlagt et marmorsliperi ved Sageneelva på midten av 1890-tallet, men dette var kun i drift noen få år, og sysselsatte ikke mange. De fleste innbyggerne på Tofte var sysselsatt med jordbruk, skogbruk, isdrift, sjøfart og fiske.