L'arrière-grand-père, Hugues le Despenser l'Aîné, et le grand-père d'Henri, Hugues le Despenser le Jeune, sont tous deux des favoris du roi Édouard II. Hugues l'Aîné est un conseiller d'Édouard jusqu'à sa défaite militaire à Bannockburn en 1314, mais recouvre plus tard son influence. Son fils Hugues le Jeune est nommé chambellan en 1318 et devient progressivement le favori du roi. Les barons sont hostiles aux Despenser, en raison de leur richesse et de leur arrogance, et parviennent à les faire exiler en 1321. Leur sentence est rapidement révoquée et ils jouent un rôle important dans le gouvernement à partir de 1322. Ils sont finalement exécutés en 1326 lors de la rébellion baronniale conduite par la reine Isabelle de France.