I oktober 1326 invaderte Isabella og Mortimer England. Deres hær talte kun rundt 1500 leiesoldater til å begynne med, men flertallet av adelen gikk til opprør til deres fordel i hele oktober og november. I kontrast var det svært få som var villige til å kjempe for Edvard II, hovedsakelig på grunn av hatet mot far og sønn Despenser. Far og sønn flyktet vestover sammen med kongen med de klarte å få med seg fra den kongelige skattekisten. Flukten var ikke suksessfull. Atskilt fra den eldre Despenser ble kongen og Hugh forlatt av de fleste i sitt følge og de ble tatt til fange etter noen uker i nærheten av Neath i midten av november. Kong Edvard ble satt i fangenskap og senere avsatt. Den eldre Despenser ble hengt i Bristol den 27. oktober 1326 mens sønnen Hugh ble fengslet inntil han ble ført fram for en domstol.