Hermann var sønn av grev Giselbert av Luxembourg (1007-1059). Hans eldre sønn Konrad, som etterfulgte faren som greve av Luxembourg, var tilhenger og støttespiller for Salier-dynastiet og keiser Henrik IV av Det tysk-romerske rike under investiturstriden (en strid mellom paven og keiseren om retten til innsetting av biskoper) og under saksernes oppstand i 1070-årene.