Aymer var sønn av Guillaume eller William de Valence, sønn av Hugo X, greve av La Marche, og greve av Angoulême, ved å være gift med Isabella av Angoulême, som først var gift med kong Johan av England. William var således halvbror av kong Henrik III av England ved hans mors første ekteskap på kong Johan, og fikk således en sentral posisjon i kongeriket England. Han fikk jarledømmet Pembroke ved sitt ekteskap med Joan de Munchensi, barnebarn av William Marshal.