Han var sønn av Marie La Roche Fleischer (1852–1908) og banksjef Jens Ludvig Høst (1814–94). Mora var av den opprinnelig tyske slekten Fleischer. Herman giftet seg med Gudrun Rasmussen (1888–1976). Datteren Gerd Høst (1915–2007) var språkprofessor, skuespiller og lyriker. Sønnen Herman Høst (1926–2023) var lege og professor i medisin ved UiO.