Hermann var sønn av greve Wolfrat II von Altshausen og hans hustru Hiltrud. Hvor han ble født, er ikke kjent. Sykdommene og skavankene han hadde fra barneårene gjorde han uskikket til praktisk arbeid, og han ble sendt i klosterskole.