Quando i lanzichenecchi di Carlo V espugnarono Roma con il famoso Sacco, tutta la famiglia scappò dalla città nella cosiddetta "seconda cacciata dei Medici". Quando Clemente VII ristabilì la pace con l'Imperatore, ebbe l'aiuto per riprendere la città di Firenze, con l'assedio del 1529-30, dopo il quale fu messo a capo della città il duca Alessandro de' Medici. Ippolito sperava di essere scelto lui al posto dell'odiato cugino Alessandro, suo rivale, mentre fu invece allontanato da Firenze, prima come arcivescovo di Avignone, finché papa Clemente VII come compensazione non lo creò cardinale nel 1529, appena diciottenne con il titolo di Santa Prassede (mutato il 3 luglio 1532 con quello di San Lorenzo in Damaso) e creandolo vescovo di Avignone. Fino alla nomina del cardinale Alessandro Farnese il Giovane, creato da Paolo III, è stato il porporato italiano più giovane.