Bernhard Martin Håvardsholm var sønn av Simon Håvardsholm (født 1864 i Fjelberg) og Marta Aarvik (født 1867 i Sveio). I 1933 giftet han seg med Gudrun Fatnes fra Sand, og sammen fikk de fire barn.