Far og sønn kom tilbake og kong Edvard fikk rask installert Hugh på nytt som den kongelige favoritt. Hans tid landflyktighet hadde ikke på noen måte endret hans grådighet, hans overilthet, eller hans hensynsløshet. Tiden fra Despenserne kom tilbake til slutten av Edvard IIs regime var en tid av usikkerhet i England. Da baronenes opposisjon var svak og uten leder etter å ha blitt beseiret i slaget ved Boroughbridge, og da Edvard lot dem gjøre som de ønsket, var det ingen begrensninger for Despenserne. De ble styrtrike fra administrasjon og korrupsjon. Denne perioden er tidvis referert til som «tyranniet». Deres vanstyre fremmet omfattende fiendskap mot dem, og til sist rammet det også kongen selv. Hugh presset kongen for å få Mortimer henrettet. Denne hadde blitt holdt fanget i Tower of London etter at han ble tvunget til å overgi seg. Imidlertid greide Mortimer å flykte fra fengselet og videre til Frankrike.