Hendes familie af landadel i det engelske sociale hierarki. Hendes mor, Jacquetta af Luxemburg, havde tidligere været gift med Johan af Lancaster, hertug af Bedford, Henrik 6.'s farbror. Elizabeths første ægteskab var med en mindre betydningsfuld støtte af Huset Lancaster, sir John Gray af Groby. Han faldt under Det 2. slag ved St. Albans og efterlod Elizabeth som enke til to sønner.