Audley war für seine Dienste bereits mit einer jährlichen Pension in Höhe von £ 80 belohnt worden, als er 1355 den Schwarzen Prinzen nach Bordeaux begleitete. Im Herbst des Jahres gehörte er zum englischen Heer, das eine Chevauchée bis nach Narbonne unternahm. Dabei unternahm er zusammen mit Chandos einen Vorstoß gegen den Graf Jean von Armagnac. Anfang 1356 führte er von Moissac Überfälle in das Agenais, bei denen er das nahe gelegene Castelsagrat eroberte. Als der Schwarze Prinz 1356 seine Chevauchée durch Westfrankreich durchführte, gehörten Audley und Chandos zum engen Gefolge des Prinzen. Am 28. August 1356 schlugen sie bei Vierzon eine Söldnerkompanie unter "Philippe de Chambly". Als das englische Heer von dem überlegenen französischen Heer bei Poitiers gestellt wurde, gehörte er zu den englischen Führern, die zunächst eine Schlacht vermeiden wollten. In der folgenden Schlacht von Poitiers kämpfte er jedoch an vorderster Front und wurde dabei schwer verwundet. Der Schwarze Prinz soll sich persönlich um die Behandlung seiner Verletzungen gekümmert haben. Die jährliche Pension von £ 400, die ihm der Schwarze Prinz aus den Einkünften der Erzbergwerke in Südwestengland im Dezember 1356 gewährte, leitete Audley großmütig an seine vier Knappen weiter. Dazu wurden ihm später 600 Écu aus den Zolleinkünften von Marmande gewährt, dazu wurde er Seigneur der Oléron. Nach seiner Genesung nahm er vermutlich 1357 an der Belagerung von Rennes in der Bretagne teil. Von 1359 bis 1360 nahm er an dem englischen Feldzug nach Reims teil. Dabei machte er wieder zusammen mit Chandos Vorstöße bis in die Region um Soissons. Dabei eroberten sie die Burg von La Ferté-sous-Jouarre, die sie als Basis für weitere Vorstöße nutzten. Am 24. Oktober 1360 bezeugte er in Calais mit den Friede von Brétigny und die Freilassung des bei Poitiers in Gefangenschaft geratenen französischen Königs Johann II.