Aymer de Valence entstammte der aus dem Poitou stammenden Familie Lusignan. Er war der dritte Sohn von William de Valence, 1. Earl of Pembroke und dessen Frau Joan de Munchensi. Sein Vater war einer der Halbbrüder des englischen Königs Heinrich III. und war um 1247 nach England übergesiedelt. Damit war Aymer ein enger Verwandter der englischen Könige Eduard I. und Eduard II. Über seine Mutter war er ein Urenkel von William Marshal, 1. Earl of Pembroke. Sein Vater kehrte im Januar 1273 vom Kreuzzug des Prinzen Eduard zurück und blieb bis 1274 in der Nähe von Limoges, so dass es möglich ist, dass Aymer in Frankreich geboren wurde. Welchem Ort Valence er seinen Beinamen zu verdanken hat, ist nicht geklärt; es könnte die südwestfranzösische Stadt Valence bei Lusignan sein, woher seine Familie väterlicherseits stammte, doch es gibt keine Belege, nach denen er in Valence geboren wurde.