Det er mulig at Filtvet helt siden middelalderen, og kanskje tidligere, har vært en fast plass for lasting og lossing av varer. Det gamle navnet på et berg ved sjøen nedenfor Filtvet gård kan tyde på det.