Edward var eneste barn av Henrik VI av England og Margaret av Anjou. Edward ble født Westminsterpalasset. På denne tiden var det en strid mellom kongens tilhengere (huset Lancaster) og de til Richard Plantagenet, 3. hertug av York, som hadde et krav på den engelske tronen, og som utfordret autoriteten til Henriks rådgivere. Hans far hadde da han ble født allerede vist tegn på mental sykdom, og etter fødselen brøt han helt sammen. Dronningens fiender satt ut rykter om at prinsen var resultatet av en utenomekteskapelig affære, ettersom mange mente at kongen var ute av stand til å bli far. Edmund Beaufort, 2. hertug av Somerset og James Butler er blant de som ble pekt på som mulig far for prinsen, men det finnes ingen bevis på at dette er riktig. Henrik VI viste aldri noen annen oppførsel enn at han var barnets far, han tvilte aldri på guttens opphav og anerkjente offentlig farskapet. At spørsmålet om hans opphav ikke ble en større sak under den følgende striden om arverekkefølgen svekker ryktets troverdighet. Edward ble installert som prins av Wales ved Windsor Castle i 1454.