Etter hvert førte seilskutetrafikken forbi Rødtangen til at det ble oppretta en tollstasjon på Rødtangen. Denne hørte fra begynnelsen av inn under Sands tolldistrikt, deretter under Drøbaks tolldistrikt, og fra 1779 til Holmestrands tolldistrikt. Den første tollbetjenten som bodde på Rødtangen var Nils Schavenius, som er nevnt i 1752. Tollerne veksla mellom å bo på Rødtangen og i Holmsbustøa. Som en følge av tollervirksomheten bosatte også en del røyerter (rorskarer) seg på Rødtangen. Det var også et gjestgiveri her, nevnt i 1788. Folketellinga fra 1801 nevner at det bodde en fraktemann på Rødtangen. Under en takstforretning i januar 1803 skal det ha vært to våningshus på Rødtangen, så noe tettsted var det fortsatt ikke. I 1807 ble det anlagt en militær signalstasjon på Rødtangen, som en del av kystvernet under Napoleonskrigene. Fortsatt i 1835 oppgir folketellinga for dette året at det kun fantes tre husholdninger på Rødtangen, med til sammen 26 hjemmehørende personer.