Etter Boroughbridge havnet Pembroke i en vanskelig situasjon. Motstanderne av Hugh Despenser og hans far, Hugh Despenser den eldre, hadde mistet all tiltro til dem. Samtidig var Pembroke blitt marginalisert ved hoffet hvor familien Despensers makt vokste mer og mer. På toppen av dette var hans finansielle problemer. Den 24. juni 1324, mens han var sendt som ambassadør til Frankrike, falt han brått sammen og døde mens han oppholdt seg et sted i Picardie.