Grosmonts onkel, Thomas av Lancaster, var sønn og arving av bror av kong Edvard I av England, kalt for Edmund Crouchback. Gjennom sin arv og et heldig ekteskap ble Thomas en av de viktigste adelsmenn i England, men hans stadige strider med kong Edvard II førte til at han ble henrettet i 1322. Da han ikke hadde arvinger gikk Thomas’ eiendommer og titler til hans yngre bror Henry – Grosmonts far. Jarl Henry av Lancaster bidro til avsette Edvard II i 1327, men han forble ikke lenge i gunst hos regentskapet til dronning Isabella og Roger Mortimer. Da Edvard III selv tok personlig kontroll over regjeringen i 1330 bedret hans forhold til kronen, men på denne tiden slet den aldrende Henry allerede med dårlig helse og blindhet.