Pave Paul IV arresterte ham av politiske grunner i 1556 og sperret han inn i Engelsborgen, men da spanjolene vant militære seire ikke langt fra Roma så paven det klokest å løslate ham og gjeninnsette ham i full kardinalsverdighet.