Carlo Borromeo ble født som sønn av Giberto Borromeo, greve av Arona, og av Margherita de' Medici i borgen Arona ved Maggioresjøen. På morssiden var han i slekt med pave Pius IV. Han var også fetter til kardinalene Gianantonio Serbelloni (kreert 1560), Mark Sittich von Hohenems (1561) og Federico Borromeo den eldre (1587), og onkel til kardinal Giberto Borromeo den eldre (1652). Andre kardinaler i slekten var Federico Borromeo den yngre (1670), Giberto Bartolomeo Borromeo (1717) og Vitaliano Borromeo (1766).