Edward war ein Sohn von Edward le Despenser († 1342) und von Anne de Ferrers, einer Tochter von William Ferrers, 1. Baron Ferrers of Groby. Zu seinen jüngeren Brüdern gehörte Henry Despenser, der Bischof von Norwich wurde. Sein Vater war der zweite Sohn von Hugh le Despenser, dem 1326 gestürzten und hingerichteten Favoriten von König Eduard II., er fiel während des Bretonischen Erbfolgekriegs 1342 bei der Belagerung von Vannes. Edward erbte dessen umfangreiche Besitzungen, darunter neun vor allem in den Midlands gelegene Güter. Während seiner Minderjährigkeit wurde der Großteil seines Besitzes von Verwandten und Beamten verwaltet. Vermutlich 1346 wurde für ihn die einträgliche Heirat mit Elizabeth Burghersh († 1409), der einzigen Tochter und Erbin von Bartholomew Burgersh, 2. Baron Burgersh und von Cecily Weyland vereinbart. Seine Verlobte war die Enkelin von Bartholomew Burghersh dem Älteren († 1355), der ein reicher Magnat und King's Chamberlain war. Die Heirat fand vor dem 2. August 1354 statt. 1349 war Edward nach dem kinderlosen Tod seines Onkels Hugh le Despenser, 1. Baron le Despenser der Erbe von dessen Besitzungen, darunter Glamorgan in Südostwales, geworden. Nachdem Elizabeth, die Witwe seines Onkels, ihr Wittum erhalten hatte, wurde am 8. Februar 1350 die Bewirtschaftung der anderen Besitzungen für nur £ 1000 jährlich an Bartholomew Burghersh dem Älteren vergeben. Nach dessen Tod 1355 fiel sie zu den gleichen Bedingungen an Despensers Mutter Lady Anne, bis Edward im März 1357 volljährig wurde. Nach dem Tod von Elizabeth, der Witwe seines Onkels, 1359 erbte er deren Wittum. Nach dem Tod seines Schwiegervaters 1369 erbte Despenser zehn Güter in Suffolk sowie die Hälfte der Herrschaft Ewias Lacy in den Welsh Marches.