Ved konsistoriet i mars 1887 ble han kreert til kardinalprest, med som tittelkirke, og 2. juni samme år ble han kardinalstatssekretær. Han fikk en bestemmende innflytelse på Pavestolens politikk overfor statene, hvis primære anliggende og problem for pavedømmets forhold til den italienske regjering. Pavestolen søkte en stund en tilnærmelse til Italia, men det lyktes ikke kardnal Rampolla å finne noen løsning med italienerne.