Elizabeth, den førstefødt av ialt 14 barn, ble sendt til lady Grey da hun var gammel for lære å bli en adelskvinne og administrere sin egen husholdning. 15 år gammel ble hun i 1452 gift med familien Greys eldste sønn, John Grey av Groby, arvingen til baroniet Ferrers av Groby. Et år etter bryllupet født hun sin første sønn, Thomas (senere marki av Dorset), og deretter sin andre sønn Richard i 1457. Til tross for den lykkelige begynnelsen for det unge paret, kom det ikke til å vare lenge. England havnet i en innbyrdesstrid mellom huset Lancaster (de røde) og huset York (de hvite) om den engelske tronen. Begge familiene Woodville og Grey var alliert med Lancaster. I det andre slag ved St. Albans som en del av rosekrigene, sto huset York igjen som seierherre. Både Elizabeths far og bror måtte trygle om nåde til den nye konge Edvard IV, men hennes ektemann John Grey ble drept. Hennes eiendommer etter ektemannen ble tatt fra henne og etterlot hennes sønner uten arv. Elizabeth ble tvunget til å flytte tilbake til familiens hjem i Grafton.