Han var gift med Anna Cathrine Holst (1895–1992), og sammen hadde de seks barn: sosionom Wanda Hjort Heger, høyesterettsadvokat Johan Hjort, lege, professor og folkehelseopplyser Peter F. Hjort, ingeniør Helge Hjort, pianist Kirsti Hjort og psykolog Haldis Hjort. Han er morfar til forleggeren Anders Heger og tingrettsdommer Kim Heger.