Elizabeth Woodville ble født en gang rundt 1437, muligens i oktober, ved Grafton Regis i Northamptonshire. Hun var det førstefødte barn i en sosialt ulikt ekteskap som kortvarig førte til en skandale ved det engelske hoffet. Familien Woodvilles, om enn en gammel og respektabel familie, var lavadel framfor adelig; en rike familie med landeiendommer som tidligere hadde frambrakt fredsdammere, sheriffer, og medlemmer av parlamentet framfor adelige. Hennes far, sir Richard Woodville, var kun en ridder på den tiden da hun ble født, og hans far hadde gjort en god karriere i kongelig tjeneste og blitt forfremmet til å bli kammerherre for hertugen av Bedford. Richard Woodville fulgte sin far ved å ta tjeneste for hertugen, og således møtte sin hustru Jacquetta av Luxembourg. Hun var eldste datter av grev Peter av Luxembourg og Margaret de Baux. Jacquetta ble giftet bort med hertugen i 1433 da hun var 17 år gammel som hans andre hustru. Hertugen var betydelig eldre enn henne, og ved skrantende helse, og døde i 1435. Jacquetta ble etterlatt barnløs, men som en rik enke Hun var påkrevd å søke tillatelse fra kong Hnerik VI før hun kunne gifte seg på nytt, men i mars 1437 ble det avslørt at hun i hemmelighet hadde giftet seg med Richard Woodville som sto langt under henne i rang og ikke betraktet seg en velegnet ektefelle for en adelskvinne som fortsatt ble æret som kongens tante, beslektet ved inngifte. Paret ble gitt en bot på 1000 pund, men det ble trukket tilbake i oktober det samme året.