Audley sert par la suite fidèlement le roi Édouard III. En 1331, il est envoyé en France en tant qu'ambassadeur. Au cours des années 1330, il accompagne le roi lors de ses campagnes militaires en Écosse. En récompense de ses nombreux services, Audley est en 1337 élevé au titre de comte de Gloucester, dont sa femme est l'héritière. Audley poursuit sa carrière militaire en Écosse et en France. Ainsi, en 1338, il participe au siège de Dunbar. En 1339, il accompagne Édouard III en Flandre et, l'année suivante, est présent au cours de la victoire navale de L'Écluse. Enfin, en 1342, il est envoyé guerroyer en Bretagne. Mort le , Hugh Audley est enterré aux côtés de son épouse Marguerite de Clare, décédée en 1342, au prieuré de Tonbridge, dans le comté de Kent. Son mariage ne laisse qu'une fille, Marguerite Audley, qui a été enlevée et épousée en 1336 par Ralph de Stafford, comte de Stafford.