El padre de Grey estaba en contra de Ricardo III, y después de que el mayor de los Thomas se uniera a la fallida rebelión de 1483 que encabezó el duque de Buckingham, padre e hijo huyeron a Bretaña, uniéndose a Enrique Tudor. Cinco meses después de que Ricardo fuera derrotado por Enrique en la Batalla de Bosworth Field en 22 de agosto de 1485, el nuevo rey se casó con la primera media hermana de Dorset, Isabel de York, pero Enrique VII sospechaba también de Dorset, que fue encarcelado durante la rebelión de Lambert Simnel en 1487. En 1492, Dorset fue obligado a dar garantías de lealtad a la corona y poner al joven Thomas Grey bajo la tutela del rey.