Elizabeth wurde um 1437 in Grafton Regis, Northamptonshire, England geboren. Ihre Eltern waren Jacquetta von Luxemburg und Sir Richard Woodville. Demnach gehörte das junge Mädchen zur Ritterschicht. Elizabeth war eine der Ehrendamen der Frau Heinrichs VI., Margarete von Anjou. Sie war in erster Ehe seit etwa 1452 mit Sir John Grey of Groby verheiratet, einem Anhänger des Lancaster-Königs Heinrich VI. Grey fiel 1461 in der Zweiten Schlacht von St. Albans. Dieser Verbindung entstammten zwei Söhne, Thomas Grey, 1. Marquess of Dorset, und Richard Grey.