Bernt Holtsmark giftet seg i 1887 med Johanne Amalie Koller, datter av landbrukshøyskolens direktør. Deres datter Henriette (Henny) giftet seg med fylkesmann og landbruksminister Håkon Five. Sønnen Torger og svigerdatteren Benny (Benedicte) Holtsmark overtok Tveiter.