À la mort d'Édouard IV le , son fils Édouard V lui succède au trône. Grey est fait selon ses dernières volontés connétable de la Tour de Londres. Richard de Gloucester, frère d'Édouard IV, s'empare du pouvoir et fait exécuter Anthony Woodville, l'oncle de Thomas ainsi que son frère cadet Richard Grey, chargés de l'éducation d'Édouard V, le . Grey s'enfuit auprès de sa mère dans le sanctuaire de l'Abbaye de Westminster. Édouard V et son frère Richard de Shrewsbury sont enfermés dans la Tour de Londres et disparaissent, probablement assassinés par Gloucester qui monte sur le trône sous le nom de Richard III. Grey se voit retirer sa charge de connétable, tandis que le comte de Warwick est confié à la reine Anne Neville, sa tante. En , Grey soutient la révolte du duc de Buckingham contre Richard III. À la suite de la défaite de la rébellion, il doit s'enfuir auprès du prétendant Henri Tudor en Bretagne, auquel il prête allégeance. Ses terres sont confisquées par le roi en .