Han ble på pave Pius IVs ordre innesperret i Castel Sant'Angelo mistenkt for å ha vært en av Carafaenes medsammensvorne, men ble funnet uskyldig og løslatt. Han var imidlertid så krenket av beskyldningene at han nektet ethvert senere oppdrag fra paven under hans pontifikat. Under de senere paver tok han imidlertid på seg arbeid i den romerske kurie igjen, og ble suburbikarbiskop av Albano i 1573.