Edward ble født i 1475 ved Warwick, familiehjemmet til hans mor, grevinne av Clarence, tidligere lady Isabel Neville, eldste datter av Richard Neville, 16. jarl av Warwick. Han ble gjort til jarl av Warwick i 1478 kort tid etter at hans far ble henrettet for forræderi. Hans potensielle krav på tronen som følge av at hans fetter Edvard V ble avsatt i 1483 ble oversett grunnet i engelsk lov ved hans fars forræderi, «korrupsjon av blodet», det vil si tap av ære, liv og gods (engelsk: ), fratok ham arverett og utelukket ham fra å bli gjort gjeldende for tronen (skjønt det ha blitt endret ved lov i parlamentet). Grunnet denne trusselen lot Rikard III ham holdt i «ærefull» forvaring i festningen Sheriff Hutton Castle i North Yorkshire og lot ham bli slått til ridder i York i 1483.