Henry Despenser war der vierte, vermutlich postume Sohn von Sir Edward Despenser und von Anne, einer Tochter von William Ferrers, 1. Baron Ferrers of Groby. Sein Vater war der zweite Sohn von Hugh le Despenser, dem 1326 gestürzten und hingerichteten Favoriten von König Eduard II., er fiel im September 1342 während des Bretonischen Erbfolgekriegs bei der Belagerung von Vannes. Der Erbe seines Vaters wurde Henrys ältester Bruder Edward le Despenser.