Hun var datter av Anna Berntsen fra Vardø og Hans Berg Berntsen, en fisker fra Vaagen i Lofoten. Hun fikk først navnet Hildur Berntsen, senere brukte familien og Hildur etternavnet Berg - til hun giftet seg og fikk mannens navn Hølvold.