I 1560 ble han falskt anklaget for å ha fjernet visse ting fra det apostoliske kammer og holdt innesperret på Castel Sant'Angelo i flere måneder, fratatt sine verv i Roma, dømt til bøter på 1 000 000 gullscudi og beordret utvist fra Roma. Etter at han hadde gjenvunnet pave Pius IVs tillit fikk han i 1562 vende tilbake til sitt erkebispedømme.