I 1824 opphørte Filtvet å være tollsted. Til gjengjeld ble Filtvet fyr oppført i 1840. Det hadde trolig stått en slags fyrlykt på Filtvet-tangen helt siden 1700-tallet, men nå ble det bygget et skikkelig fyrhus, med fyrvokterbolig, tåkeklokke og et tolv meter høyt fyrtårn.