Audley diende de nieuwe koning als trouwe hoveling. In 1331 werd hij als gezant naar Frankrijk gestuurd en midden jaren 1330 vocht hij in veldtochten tegen Schotland. Als dank voor zijn verdiensten werd hij in 1337 tot graaf van Gloucester benoemd, een titel die sinds de dood van zijn schoonbroer Gilbert de Clare in 1314 was uitgestorven. Ook daarna diende hij de Engelse koning nog; van 1337 tot 1338 nam hij deel aan de vergeefse belegering van Dunbar, in 1339 begeleidde hij de Engelse koning ten tijde van de Honderdjarige Oorlog naar Vlaanderen, in 1340 nam hij deel aan de Slag bij Sluis en in 1342 aan de veldtocht van de koning in Bretagne.