Am 23. Juni 1890 ernannte ihn Papst Leo XIII. zum Bischof von Guastalla. Die Bischofsweihe empfing er am 29. Juni 1890 durch Lucido Maria Kardinal Parocchi in Rom. Bereits 1891 verließ er die Diözese und wurde am 1. Juni dieses Jahres zum Bischof von Como ernannt. Am 18. Mai 1894 wurde er in das Kardinalskollegium aufgenommen. Drei Tage später wurde er zum Erzbischof von Mailand ernannt und erhielt als Kardinalpriester die Titelkirche "Sant’Anastasia" verliehen. Er nahm 1903 und 1914 am Konklave teil. Anlässlich seiner Ernennung zum Erzbischof von Mailand nahm Kardinal Ferrari den Namen "Carlo" als Zweitnamen an, in Verehrung für den heiligen Karl Borromäus, der im 16. Jahrhundert ebenfalls Erzbischof von Mailand war. Wie sein Vorgänger Luigi Nazari di Calabiana betrieb auch Ferrari eine kompromissbereite Politik, was ihm von konservativer Seite Kritik einbrachte. Auch bei der Ausbildung der Seminaristen führte er Neuerungen ein und gründete ab 1896 neue Hochschulen, unter anderem in Monza und in Seregno. 1898 kam es, angeheizt durch die Presse, in Mailand zu einem Aufstand. Leo XIII. verteidigte Ferrari, und er konnte seine Tätigkeiten wieder aufnehmen. Trotzdem war er innerhalb des Mailänder Klerus isoliertBeleg fehlt!, blieb seiner Linie jedoch treu.