Elizabeths mor var Jacquetta av Luxembourg, enke av John av Lancaster, 1. hertug av Bedford, onkelen til Henrik VI, men hennes far var Richard Woodville, 1. jarl Rivers, en nyutnevnt baron. Da Elizabeths ekteskap med Edvard IV ble kjent i oktober 1464, ble hennes tolv ugifte søsken brått meget attråverdige ekteskapskandidater. Catherine Woodville giftet seg med Henry Stafford, barnebarn og arving av tittelen som hertug av Buckingham; Anne Woodville ble gift med William Bourchier, vicomte Bourchier, eldste sønn og arving av tittelen som jarl av Essex; og Eleanor Woodville ble gift med Anthony Grey, sønn og arving av tittelen som jarl av Kent.