I 1321 allierte faren seg med Despenserslekten, som var Edvard IIs yndlinger. Alliansen ble beseglet ved at Richard giftet seg med Isabella, datter av Hugh le Despenser den yngre. Lykken snudde seg for Despenserslekten noen få år etter, og i 1326 ble Edmund Fitzalan henrettet. Richard fikk ikke arve sin fars eiendommer eller titler.