Audley var først gift med Christina, datter av Thomas Barnardiston og senere med Elizabeth, datter av Thomas Grey, 2. marki av Dorset. Han fikk to barn med sin andre kone, begge døtre.