Aymer giftet seg to ganger; hans første ekteskap som skjedde før 1295, var med Beatrice, datteren til Raoul II of Clermont, herre av Nesle i Picardie og konstabel av Frankrike. Beatrice døde i 1320, og i 1321 giftet han seg på nytt med Marie de St Pol, datter av Gui de Châtillon, greve av St Pol og (administrator) av Frankrike. Han fikk derimot aldri noen legitime barn fra noen av sine ekteskap, men han hadde en sønn utenfor ekteskap, Henry de Valence, med en ukjent mor.