Hennes far døde da hun var et lite barn. Kort tid før 1. desember 1446 giftet Elizabeths mor seg med hennes andre ektemann, sir John Say av Broxbourne, ordstyrer av underhuset, og med ham fikk hun tre sønner, William Say, som ble gift med Elizabeth Fray, Thomas Say, og Leonard Say, som senere ble en prest; og fire døtre som overlevde, Anne Say, som giftet seg med Henry Wentworth, Mary Say, hustru av sir Philip Calthorpe, Elizabeth Say, hustru av Thomas Sampson, og Katherine Say, gift med Thomas Bassingbourne. En femte datter, hvis navn ikke er kjent, døde som barn. Dronniggemal Jane Seymour nedstammet fra Margaret Wentworth, datter av Henry Wentworth og Anne Saye.