Bergset var født på fjellgården Bergset på Fjelli på Blakset i Stryn. Han var yngst i rekken av syv søsken etter Arne Larson Bergset (1864–1929) og Borni Andersdtr Myklebust (1866–1940).