Im Sommer 1492 starb Innozenz VIII. und der gerade erst ernannte Kardinal Medici nahm an seinem ersten Konklave teil, das Kardinal Rodrigo Borgia (als Papst Alexander VI.) für sich entscheiden konnte. Giovanni, der gegen Borgia gestimmt hatte, verließ vorsichtigerweise Rom, wo er im Familienpalast, dem heutigen italienischen Senatsgebäude Palazzo Madama, gewohnt hatte, und kehrte nach Florenz zurück. Dort hatte kurz zuvor nach dem Tod des Familienoberhauptes Lorenzo des Prächtigen Giovannis älterer Bruder Piero der Unglückliche die Nachfolge angetreten.