Borromeo ble født i Milano, i slekten til grev d'Arona. Kardinal Giberto Borromeo var hans fetter, og han var i slekt med kardinalene Carlo Borromeo og Federico Borromeo den eldre.