Til slutt greide baronene å gjøre seg gjeldende overfor kong Edvard og tvang Hugh og hans far inn i landflyktighet i 1321. Hans far flyktet til Bordeaux mens Hugh henga seg til piratvirksomhet i Den engelske kanal, «et sjømonster, lå ventende på handelsskip til de krysset hans spor.» Etter at de var blitt drevet i eksil begynte baronene å krangle seg imellom. Det påfølgende året dro kong Edvard fordel av splittelsen ved å sikre seg nederlaget og henrettelsen av jarlen av Lancaster, og fikk Roger Mortimer til å overgi seg, begge de fremste motstanderne av Despenserne.