Le , Hugh Audley est convoqué pour la première fois par le Parlement et y est créé baron Audley. L'Angleterre se trouve cependant à ce moment-là dans une situation difficile à cause des défaites militaires contre l'Écosse et la Grande famine de 1315-1317. Ces crises, additionnées aux faveurs que fait pleuvoir le roi sur ses courtisans, attirent le mécontentement des grands barons du royaume, dont le chef de file est le comte de Lancastre. Cette opposition grandissante des barons convainc finalement Audley de quitter la cour en , peu après la signature du traité de Leake. Audley sert ensuite Édouard II lors de ses campagnes militaires contre l'Écosse, notamment en septembre 1319 lors du siège infructueux de Berwick-upon-Tweed.