Ребёнок появился на свет 22 июня 1477 года. Он приходился родным племянником наследнику престола Эдуарду, так что ему было обеспечено прекрасное будущее. Однако в 1483 году Эдуард IV внезапно умер; его брат Ричард Глостерский, ставший лордом-протектором при новом короле, объявил брак покойного с Элизабет Вудвилл незаконным и на этом основании захватил престол под именем Ричарда III. Дядя Томаса, Ричард Грей, и отчим его матери Уильям Гастингс, 1-й барон Гастингс из Эшби де Ла Зуш, были казнены. Томас-старший уцелел, но в том же году поддержал мятеж герцога Бекингема, а после поражения бежал в Бретань, причём сына взял с собой (1484). На материке он присоединился к ланкастерскому претенденту на корону Генриху Тюдору. Позже он решил вернуться в Англию и признать королём Ричарда, но был арестован людьми Тюдора. Последний в 1485 году захватил корону под именем Генриха VII и женился на Елизавете Йоркской — единоутробной сестре Томаса Грея-старшего.