Elizabeth werd rond 1437 geboren als de dochter van Richard Woodville en Jacoba van Luxemburg. Ze werd een hofdame van Margaretha van Anjou, de vrouw van koning Hendrik VI. In 1452 trad ze in het huwelijk met John Grey, baron van Groby, die in 1461 werd gedood bij de Tweede Slag bij St Albans. Uit dit huwelijk had Elizabeth twee kinderen: Thomas Grey, markies van Dorset, en Richard Grey.