Grey var sønn og arving av Elizabeth Ferrers, lady Ferrers av Groby (1419–1483) og av sir Edward Grey (ca. 1415–1457). Hans far ble stevnet til parlamentet som den 6. baron Ferrers av Groby i sin hustrus rett.