Pembrokes mest varige arv var antagelig via hans andre hustru som i 1347 grunnla Pembroke College ved Universitetet i Cambridge. Hans familevåpen er fortsatt representert på høyresiden av lærestedets våpenskjold. Aymer de Valence ble gravlagt i Westminster Abbey, hvor hans grav fortsatt kan bli sett som en framstående eksempel på sengotisk arkitektur, utarbeidet i den samme formgivningen som den nærliggende graven til Edmund Crouchback.