Los abuelos paternos del joven Thomas Grey fueron la Reina Isabel Woodville (c. 1437-1492) y su primer esposo, Sir John Grey de Groby c. 1432-1461), hijo y heredero de Isabel Ferrers, Lady Ferrers de Groby, así que su padre el primer marqués era un hijastro de Eduardo IV y medio hermano de Eduardo V. Su abuelo Sir John Grey murió en la Segunda Batalla de St Albans (1461), luchando en el bando de Lancaster lado. Su abuela Elizabeth Woodville era la hija mayor de Richard Woodville, y Jacquetta de Luxemburgo, viuda de Juan de Lancaster, duque de Bedford. Tras el matrimonio de su abuela con Eduardo IV, los miembros de su familia ascendieron socialmente y pudieron hacer matrimonios prósperos.