Edward ble født ved Brecknock Castle i Brecon, Wales, hvor hans far oppholdt seg før han ble arrestert og henrettet for å ha gjort opprør mot kong Rikard III av England da sønnen var fem år gammel. Da kong Henrik VII overtok tronen ble tapet av ære, liv og gods, og ikke minst tittelen omgjort og Edward ble den neste hertug av Buckingham. Ansvaret som hans formynder ble gitt til kongens mor, Margaret Beaufort. En grunn til at inndragelsen av tittelen ble omgjort var muligens at Edward var fetter av dronning Elizabeth av York, kongens hustru.