Sota el Papa Pau IV (1555-1559), la seva posició s'esquerdà, i preferí sortir de Roma (estiu 1558). Va passar un període a la Llombardia i, a continuació, a la Toscana, on va tractar de guarir la gota que l'afligia, i va participar en tots els conclaves (quatre) que van tenir lloc en els anys entre 1549 i 1559 (1549, abril i maig de 1555 i 1559).