Als Audleys Vater 1334 starb, erbte sein Onkel Hugh de Audley die Besitzungen seines Vaters. da James als illegitim galt. Nach dem Tod seiner Großmutter väterlicherseits "Isolt de Mortimer" 1338 erbte er jedoch deren Gut Eastington in Gloucestershire. Erstmals wird Audley mit Sicherheit nachweisbar im Juni 1346 im Gefolge von Edward of Woodstock, des "Schwarzen Prinzen" erwähnt, in dessen Gefolge er während des Hundertjährigen Kriegs am Feldzug nach Frankreich teilnahm. Er war einer von vier Knappen, die der Schwarze Prinz vor der Schlacht von Crécy zum Ritter schlug. Nach dem englischen Sieg nahm er an der langwierigen, doch schließlich erfolgreichen Belagerung von Calais teil. Als Gefolgsmann des Schwarzen Prinzen gehörte er zu den Gründungsmitgliedern des Hosenbandordens. Ob er 1350 an der Seeschlacht von Winchelsea und 1351 am Entsatz von Saint-Jean-d’Angély teilnahm, ist umstritten. Im Juni 1351 gehörte er zum Gefolge des Schwarzen Prinzen, als dieser London besuchte. Am 31. Dezember 1353 nahm er zusammen mit Sir John Chandos an einem Turnier in Eltham teil, bei dem er mit einer Rüstung belohnt wurde.