Selv om Gardiner hadde stor innflytelse under Henrik VIII ble han ikke nevnt i kongens testamentet. Mange hadde trodd at han skulle bli en av eksekutørene. Under Edvard VI stod Gardiner i opposisjon til de dominerende gruppene innen både kirkelige og sivile affærer. Han opponerte mot endringer i kirkeordningen både på prinsipielt grunnlag og fordi de ble utført mens kongen var mindreårig. Han var spesielt mot Cranmers prosjekt om generalvisitas. Dette førte til at han ble satt i Fleet fengsel, og visitasen i Winchester ble utført mens han satt der. Han ble raskt løslatt, men ble innkalt til rådet. Da han nektet å gi tilfredsstillende svar på noen av spørsmålene som ble stilt ble han satt i Tower of London, der han satt resten av Edvards regjeringstid, det vil si i fem år. I denne perioden forsøkte han, uten hell, å bli innkalt for parlamentet slik personer av adelig rang, inkludert biskoper, hadde rett til. Hans bispesete ble gitt til John Ponet, en av Cranmers kapellaner som inntil da hadde vært biskop av Rochester.