Det kom til pavens kjennedom at Ciocchi hadde en kjærlighetsaffære gående med dikterinnen Ersilia Cortese, og paven overveide da å frata Ciocchi kardinalsverdigheten.