En gang rundt 1452 giftet sir John Grey seg med Elizabeth Woodville, den eldste datteren til Richard Woodville, 1. jarl Rivers, og Jacquetta av Luxemburg, enke etter John av Lancaster, 1. hertug av Bedford. De hadde to sønner, Thomas, senere marki av Dorset, og Richard. Elizabeth ble senere medarving av hennes bror, Richard Woodville, 3. jarl Rivers.