I dag er det ingen bosatte på vestsida («yttersida») av Moskenesøya, men fram til rundt 1950 var det flere små bygder og gårder i bukter og viker på den sida av øya. Refsvika var den nest sørligste av disse bygdene, og hadde i 1900 22 innbyggere. Folketallet økte til 38 i 1939.