Liulfs Enkel Adam de Audley († 1211) war als "Constable of Ulster" im Dienst von Hugh de Lacy an der Kolonialisierung Irlands beteiligt. Adams jüngerer Bruder Henry Audley konnte im Dienst von Earl Ranulf of Chester Besitzungen in Shropshire und anderen Teilen Englands erweitern und stieg zum Baron auf. Er gründete das Zisterzienserkloster Hulton Abbey, das zur Hauptgrablege der Familie wurde, und verlegte nach 1227 seinen Hauptsitz in das neue Heighley Castle in Staffordshire. Henrys Sohn James gehörte während des zweiten Kriegs der Barone zu den wichtigsten Unterstützern des Königs in den Welsh Marches. Konnte James noch die Stellung der Familie in den Welsh Marches festigen, geriet die Familie nach seinem Unfalltod 1272 und den rasch aufeinanderfolgenden Todesfällen seiner ersten drei Söhne bis 1299 in eine Krise.