Det første vertshuset på Bjørnstadstranda ble visstnok åpnet for å kunne servere og innkvartere gruvearbeiderne. Men etter hvert opphørte gruvedriften helt. I stedet bosatte en del sjøfolk seg på Filtvet. I 1765 bodde det 18 personer på Bjørnstadstranda, som, i likhet med Holmsbu, ble betegnet som et «strandsted» og en utliggerhavn. Fra 1780-årene var Filtvet også et tollsted under Drøbaks tolldistrikt, med egen bolig for tolleren fra og med 1799.