W 1330 r. udany zamach stanu przeciwko Mortimerowi przeprowadził Edward III. Audley stał się jego wiernym stronnikiem. W 1331 r. wyjeżdżał jako poseł do Francji, a w następnych latach uczestniczył w wyprawach na Szkocję. W marcu 1337 r. został kreowany hrabią Gloucester w zamian za zasługi dla Korony. W latach 1337-1338 brał udział w oblężeniu Dunbar w Szkocji. W 1339 r. towarzyszył Edwardowi III w wyprawie do Flandrii. Brał udział w bitwie pod Sluys w 1340 r. W 1342 r. brał udział w kampanii bretońskiej.