Apja az Oxfordshireben található Stratton Audley-i Sir James Audley volt. Katonai karrierjét 1346-ban kezdte, amikor Eduárd walesi herceg kíséretének tagjaként részt vett a trónörökös lovaggá avatásán. Augusztus 26-án harcolt a crécyi csatában, majd Calais ostromában, amely 1347 augusztusában fejeződött be angol sikerrel. Alapító tagja lett a Térdszalagrendnek, és valószínűleg részt vett az 1350-es winchelsea-i tengeri ütközetben, majd következő évben a St.-Jean-d'Angély helyőrség felszabadításában. 1351 júniusában Londonban tartózkodott Eduárddal. Szolgálataiért évi 80 fontos járadékot kapott.