Henriks familie lar seg føre tilbake på farssiden bare til hans bestefar Liudolf. Denne er flere ganger omtalt som (greve) i kildene og hadde som sådan oppgaven å utøve kongelige rettigheter i et bestemt grevskap, et . Liudolfingernes gods lå i de vestlige utløpere av Harz, ved elvene Leine og Nette, med Gandersheim, Brunshausen, Grone og muligens Dahlum og Ahnhausen. Denne rikdom kunne slekten i stor utstrekning takke sine tette bånd til de karolingiske konger i det østfrankiske rike for, idet Liudolfs forfedre hadde engasjert seg på deres side i Sachsenkrigene. I områdene de kontrollerte var det en rekke viktige kvinneklostre, noen av dem grunnlagt av dem selv.