Aymer var den tredje sønnen i sin familie og det er derfor svært lite som er kjent om fødsel og første år. Det er antatt at han ble født en gang mellom 1270 og 1275. Da hans far var på korstog sammen med Edvard I, sønn av den engelske kongen, og før Edvard ble kronet, fram til januar 1273, er en dato mot slutten av denne perioden mest sannsynlig. Da hans gjenværende bror William døde i kamp i Wales i 1282 og den eldste broren hadde dødd i 1277, var det Aymer som ble arving til jarledømmet Pembroke. Hans far William de Valence døde i 1296 og Aymer arvet sin fars besittelser i Frankrike, men måtte vente til at hans mor døde i 1307 for han kunne overta jarledømmet. Via arv og ekteskap besto hans land av – bortsett fra palatinatsgrevskapet i Pembrokeshire – eiendom spredt utover hele England, hovedsakelig i en stripe fra Gloucestershire til East Anglia, i sørøstlige Irland (Wexford), og franske land i områdene Poitou og Calais.