Hans W. Brimi var gift med Aslaug (født Blakar), og de fikk barna Willie, Rolv, Anna, Asta og Astrid. Hans drev gården Brimi i Vårdalen, og fortsatte som spelemann og musiker da eldstegutten tok over bruket. Rolv Brimi er lærer og spelemann.