Han var sønn av jusprofessor Claus Winter Hjelm (1797–1871) og storebror til musikeren Otto Winter-Hjelm (1837–1931) og redaktør Kristian Winterhjelm (1843–1915).