I april 1534 ble han fengslet og sperret inne i Tower of London. Mens han satt der, utnevnte den nyvalgte pave Paul III ham til kardinal den 31. mai 1535 i håp om å redde hans liv. Men kong Henrik ble rasende, og sa at paven behøvde ikke å sende Fisher den røde kardinalhatten; han kunne heller sende Fishers hode til paven.