I 1818 fikk Holmestrands tolldistrikt ansvar for Drammensfjorden mellom Volden ved Verket og Østnestangen vest for Tofte. En tollunderbetjent skulle bo på Rødtangen. Staten kjøpte ei tomt av gården Holtnes på Rødtangen for å oppføre en tollerbolig, som sto ferdig i 1828. Denne står fortsatt, og er et viktig kulturminne på stedet.