Dronning Isabella hadde særlig motvilje mot Hugh Despenser. Forskjellige historikere har foreslått, og det er allment antatt, at han og Edvard hadde et seksuelt forhold. Den nært samtidige middelalderkrønikeskribenten Jean Froissart uttalte at «han var en sodomitt, selv med kongen, ble det sagt.» Med stor sannsynlighet var det hovedgrunnen til dronningens ubehag overfor ham. Noen historikere har merket seg at hennes hat for ham var langt større enn hun hadde for noen av kongens andre yndlinger, noe som antyder at hans oppførsel mot henne og England medvirket til hennes særlige ubehag. Historikeren Alison Weir i sis bok (2005) spekulerer i at han voldtok Isabella og at det var grunnen for hennes hat. Mens Isabella var i Frankrike for å forhandle et fred mellom hennes ektemann og den franske kongen (hennes bror), gikk hun selv inn i et intimt forhold til Roger Mortimer, og sammen planla de hevn ved å legge grunnlaget for en invasjon av England. Hugh skal etter sigende ha forsøkt å bestikke franske hoffmedlemmer med sølv for å snikmyrde Isabella.