I desember 1515 fratrådte han som Lord Chancellor, og trakk seg tilbake til sitt landsted. Nå viet han seg helt til sine geistlige oppgaver, men han var ikke i besittelse av den nødvendige handlekraft til å sette igjennom de sårt tiltrengte kirkelige reformer. Hans etterfølger som Lord Chancellor, Yorks ærgjerrige erkebiskop og pavens legat kardinal Thomas Wolsey overtok også som primas av den engelske kirke. Men også Wolseys innflytelse tok slutt; han hadde ikke klart å innhente pavelig nullitetserklæring for Henrik VIII fra Katarina av Aragón, og stod i fare for å bli stilt for retten. Etter Wolseys avsettelse (oktober 1529) og død (november 1530), tilbød kongen igjen Warham stillingen som Lord Chancellor, men han avslo.