Ved utgangen av 1950 var det bare én familie igjen i Refsvika, og de flyttet våren 1951. Av de 15 familiene som fikk lån for å flytte fra Refsvika og Helle flyttet 11 til Sørvågen. Ved fraflyttingen fra Refsvika og de andre stedene på yttersida ble hus og naust revet og tatt med for å bygges opp igjen der folk så slo seg ned, og dermed sto bare hustufter og båtstøer igjen.