Han var sønn av sogneprest og misjonsleder Magnus Andreas Gjør (1801–1874) og Martine Schaft (1799–1843). Faren var sogneprest i Saude i Sauherad på den tid Herman ble født. Moren var datter av justisråd Andreas Schaft (1760–1826) i Kristiania; etter hennes død giftet faren seg med morens søster (og Hermans tante), Andrea Schaft (1803–1847), som heller ikke ble gammel. Lillebroren Fredrik Julius Emil Gjør (1839–1916) ble sogneprest. Herman på sin side, ble gift med sin kusine (mors niese), Valborg Tostrup (1836–1886), datter av trelasthandler Christopher Henrik Holfeldt Tostrup (1804–1881).