På konklavet etter Klemens VIIs død forsøktee han å bli pave, men det ble i stedet pave Paul III; deretter trakk han seg tilbake til Firenze. Men her forverret hans relasjoner til hertug Cosimo I de’ Medicis seg, og han dro i 1540 derfor atter til Massa Carrara.