Audleys gleichnamiger Sohn Hugh Audley wurde nach 1315 einer der führenden Günstlinge von König Eduard II., geriet dabei jedoch ab 1318 in Konkurrenz zu Hugh le Despenser und wurde von diesem verdrängt. Audley wurde am 15. Mai 1321 als Baron by Writ als Baron Audley in das Parlament berufen. Er unterstützte wie sein Sohn die Marcher Lords im Despenser War und die Rebellion von Thomas of Lancaster gegen die Despensers. Er ergab sich noch vor der entscheidenden Niederlage der Rebellen in der Schlacht bei Boroughbridge im März 1322 dem König. Er wurde in Wallingford Castle inhaftiert, auch sein Sohn Hugh geriet in Gefangenschaft. Es gibt keinen Nachweis, dass Audley senior begnadigt wurde. Er starb noch vor dem Sturz des Königs und der Despensers im September 1326. Sein Titel galt als verwirkt.