I 1890 tok forldrene over gården Alsvik/Olvika ved Imarsundet på Tustna og bodde der noen år før de solgte gården og flyttet tilbake til Semundset. Like etter, i 1898, kjøpte de Nerbakkan under Leira. Fra 16-årsalderen var Peder Alsvik sjømann, og han arbeidet i mange år som fisker i inn- og utland. I 1912 stod han i spissen for skipingen av Norsk fangst- og fisker-forbund. Peder Alsvik ble gift med Ellen Holten, og bosatte seg på Dale på Nordlandet, som da lå under Bremsnes kommune.