Han var sønn av Claus Winter Hjelm og Wilhelmine von Munthe af Morgenstierne, og bror av Kristian Winterhjelm og Henrik Winter-Hjelm.