Audley wollte am Kreuzzug des Prinzen Eduard teilnehmen, doch Lord Eduard wünschte, dass er während seiner Abwesenheit auf dem Kreuzzug seine Besitzungen mit verwaltete. Höchstwahrscheinlich unternahm Audley 1268 eine Pilgerreise nach Santiago de Compostela, was wohl als Ersatz für den nicht unternommenen Kreuzzug dienen sollte. Am 8. August 1270 wurde Audley zum Justiciar of Ireland ernannt. Die Kosten, die Audley durch dieses Amt entstanden, überstiegen bei weitem das Gehalt, das er bezog, weshalb sich Audley hoch verschulden musste. Schließlich starb er in Irland durch Genickbruch nach einem Reitunfall.