James Audley war vermutlich der älteste Sohn von Hugh Audley und von dessen Frau Isolt de Mortimer. Sein Vater besaß kleinere Güter in Oxfordshire und in Gloucestershire, 1321 wurde er zum Baron Audley of Stratton Audley erhoben. James jüngerer Bruder war Hugh de Audley, der einer der wichtigsten Günstlinge von König Eduard II. wurde. Sowohl sein Vater wie auch sein Bruder Hugh beteiligten sich jedoch ab 1321 am Despenser War und an der Rebellion von Thomas of Lancaster gegen den König. Dabei gerieten sie in Gefangenschaft, in der sein Vater vor 1326 starb. Sein Titel galt damit als verwirkt. James Audley blieb dagegen wohl loyal gegenüber dem König. 1324 gehörte er im Krieg von Saint-Sardos zu den englischen Truppen in der Gascogne. Nach dem Sturz von Eduard II. gehörte er dem Heer an, mit dem Roger Mortimer 1327 einen vergeblichen Feldzug gegen einen schottischen Angriff führte.