Han ble født på husmannsplassen Vadasaga. Faren, Peter, tok navnet Stamnes etter den første gården han kjøpte, samtidig som han forpaktet prestegården. Han var også båtbygger og en foregangsmann i misjons- og avholdsarbeid.