Han er gift med psykiater Veslemøy Hjermann og er far til tidligere barneombud Reidar Hjermann. Han er sønn av stortingsrepresentant Per Severin Hjermann (1891-1972) og Mari Katrina Hjermann (født Hakestad; 1895-1979). Han er bror av Per S. Hjermann.