Historien til Refsvika og naboværet Helle henger til en viss grad sammen. De to stedene var de eneste på Moskenesøyas ytterside som det gikk an å drive fiske fra - bygdene lengre nord på yttersida hadde for dårlige havneforhold og for sterk brottsjø. Først fra slutten av 1920-tallet ble det drevet vinterfiske (Lofotfisket) fra Refsvika og Helle. I 1939/40 ble det gjort undersøkelser med tanke på å få bygd bedre havn på et av de to stedene, men ingen planer om dette ble realisert. Da Helle fikk radiotelefonforbindelse med Sørvågen radio i 1928, ble det bygd ei vanlig telefonlinje videre til Refsvika. På slutten av 1940-tallet fikk Refsvika og Helle strømaggregater som ga bygdene elektrisk lys, men det ble aldri bygd noen fast elektrisitetsforsyning til disse bygdene.