Audley diente daraufhin in der Armee und nahm im September 1319 an der erfolglosen Belagerung von Berwick teil. Die Habgier des jüngeren Despenser spaltete um diese Zeit die Gruppe der königlichen Günstlinge, und Audley wurde eines der ersten Opfer von Despenser, der zum neuen Favoriten des Königs geworden war. Despenser begehrte Audleys Besitzungen in Südwales, die seine Frau geerbt hatte und die an Despensers Baronie Glamorgan grenzten. Im Mai 1320 musste er auf Druck des Königs Wentloog und Newport Castle an Despenser abtreten. Dadurch wurde Audley auf die Seite der Marcher Lords getrieben, die sich schließlich im Frühjahr 1321 in einer gewaltsamen Rebellion, dem sogenannten Despenser War, gegen Despensers Territorialansprüche zur Wehr setzten. Der Earl of Lancaster, Audleys einstiger Gegner, schloss sich der Rebellion an. Der König ließ im April 1321 Audleys Besitzungen beschlagnahmen, und in der Schlacht bei Boroughbridge, bei dem die königlichen Truppen Lancaster entscheidend schlagen konnten, wurde Audley im März 1322 gefangen genommen. Nur durch Fürsprache seiner Frau, der Nichte des Königs und Schwägerin von Despenser, entging Audley der Hinrichtung. Er blieb jedoch inhaftiert, bis Despenser und der König im Herbst 1326 gestürzt wurden. Unter der Regentschaft von Königin Isabella und Roger Mortimer wurde Audley restituiert und erhielt einen Großteil seiner Besitzungen zurück. Dennoch unterstützte er 1328 die Revolte von Henry of Lancaster, 3. Earl of Lancaster, gegen das korrupte Regime von Mortimer und der Königin. Die Revolte scheiterte jedoch, so dass Audley sich im Januar 1329 ergeben musste. Er wurde zur Zahlung einer Strafe in Höhe von £ 10.000 verurteilt, die er letztlich wegen des Sturzes von Mortimer und der Königin durch den jungen König Eduard III. 1330 nicht zahlen brauchte.