Etter at Henrik VIII døde i 1547 mistet Grey tillit hos lederen av kong Edvard VI av Englands regjering, Edward Seymour, 1. hertug av Somerset, og Lord Protector av England. Han dro tilbake til sitt hjem i Bradgate, Leicestershire, og konsentrerte seg om familien. Sammen med Edward Seymours bror Thomas Seymour, 1. baron Seymour av Sudeley, konspirerte Grey for å få sin datter Jane giftet med kongen. Dette feilet og endte med at Thomas Seymour ble henrettet, men Grey klarte å komme seg unna.