Audley diente dem neuen König als treuer Gefolgsmann. 1331 war er als Gesandter in Frankreich und in der Mitte der 1330er Jahre kämpfte er in den Feldzügen gegen Schottland. Zum Dank wurde er 1337 zum Earl of Gloucester erhoben, ein Titel, den Gilbert de Clare, der 1314 gefallene Bruder seiner Frau geführt hatte. Audley diente weiterhin dem König, nahm von 1337 bis 1338 an der vergeblichen Belagerung von Dunbar teil, begleitete den König während des Hundertjährigen Kriegs 1339 nach Flandern und nahm 1340 an der Seeschlacht von Sluys und 1342 am Feldzug des Königs in die Bretagne teil.