Hugh le Despenser entstammte der Familie "Despenser". Er war der zweite Sohn seines gleichnamigen Vaters Hugh le Despenser und von Eleanor de Clare. Seine Mutter wurde 1314 zur Miterbin der reichen Besitzungen der Familie Clare, sein Vater wurde 1318 Favorit von König Eduard II. Nach dem Sieg über eine Gruppe rebellischer Barone hatte sein Vater ab 1322 erheblichen Einfluss auf den König. Sein Vater plante nun, ihn mit Elizabeth Comyn, einer der Teilerbinnen des Earl of Pembroke zu verheiraten. Diesen Plan verwarf er jedoch, nachdem er im Frühjahr Elizabeth unter Androhung von Gewalt gezwungen hatte, zugunsten der Despensers auf ihr Erbe zu verzichten.