Nicholas Audley entstammte der englischen Adelsfamilie Audley. Er war der vierte Sohn von James Audley und von dessen Frau Ela Longespée. Während des Zweiten Kriegs der Barone musste sein Vater, der auf der Seite des Königs stand, im August 1264 den jungen Nicholas der Regierung der Barone als Geisel stellen. In dieser Zeit lebte Nicholas im Haushalt seiner Tante Alice, die Peter de Montfort, einen der Führer der Barone geheiratet hatte. Nachdem seine beiden ältesten Brüder James und Henry kurz nach dem Tod seines Vaters 1272 ohne männliche Nachkommen gestorben waren, erbte sein Bruder William die Familienbesitzungen. Er fiel jedoch im November 1282 in der Schlacht an der Menai Strait und hinterließ ebenfalls keine überlebenden Nachkommen. Daraufhin erbte Nicholas die Güter seines Vaters, die vor allem in Staffordshire und Shropshire lagen und deren Mittelpunkt Heighley Castle war. Durch die Gebühren, die seine Brüder jeweils für den Antritt des Erbes an den König bezahlen mussten, war sein Erbe allerdings hoch verschuldet. Da seine Mutter und die Witwen seiner Brüder dazu noch Ansprüche auf ein lebenslanges Wittum hatten, war sein Erbe stark geschmälert. Dazu vermachte seine Mutter das Gut von "Stratton" in Oxfordshire, das sie als Mitgift mit in die Ehe gebracht hatte, ihrem jüngsten Sohn Hugh.