Audley diente König Eduard III. im zweiten Schottischen Unabhängigkeitskrieg und im Hundertjährigen Krieg in Frankreich. In Schottland war er 1342 Verwalter von Berwick. In der Gascogne in Südwestfrankreich kämpfte er 1345 mit einem Aufgebot von 40 Waffenknechten unter dem Kommando von Henry Plantagenet, 3. Earl of Lancaster, dem Schwager seines Sohnes Nicholas. 1346 nahm er unter dem Kommando des Earl of Arundel am Feldzug des Königs in Nordfrankreich und an der Schlacht bei Crécy teil. 1348 wurde Audley verhaftet, als er einer Einladung des Königs zum Parlament nicht folgte. 1353 war der Thronfolger Edward, der "Schwarze Prinz", in seinem Hauptsitz Heighley Castle in Staffordshire zu Gast, ebenso 1385 dessen Sohn König Richard II. 1353 war er lebenslang von der Teilnahme am Parlament befreit worden.