Era el segundogénito del conde Gilberto Borromeo y de Margarita de Médicis, hermana de Pío IV.