Han var faren til Edward II le Despenser som var ridder av Hosebåndsordenen og som ble baron Le Despencer i en ny opprettelse av baroner som skjedde i 1357. Hans andre sønn het Thomas le Despenser 1. Han var jarl av Gloucester og ble den 2. baron Le Despencer på grunn av nyopprettelsen fra 1357.