Et sagn forteller at stedet opprinnelig het Vesturvík, og ble bosatt av to menn fra Hov. En gang skal de ha rodd ut på fiske. Et fransk seilskip lå og ventet på mer vind. Fiskerne bød to franske kvinner ned i robåten sin og rodde så med full kraft tilbake mot Vesturvík, mens franskmennene fortvilt ropte: , derav navnet Fámjin. Mennene tok de franske kvinnene til ektefeller. Bygdefolket forteller fortsatt at de har fransk blod i årene.