I 1567 ble kardinal Ciocchi anklaget for å ha voldtatt to kvinner av de lavere samfunnslag i Brevia i nærheten av Siena; resultatet ble at paven på nytt forviste Ciocchi til Montecassino, og senere til Bergamo. Men han ble ikke fratatt sin kardinalverdighet.