Han ble også en av kardinalelektorene som ved konklavet i 1939 som valgte pave Pius XII. Rossi forsøkte å unngå mye av kardinalverdighetens ytre prakt og forsøkte også å holde fast ved de uskodde karmelitters asketiske livsførsel, og ble høyt verdsatt av både kollegene og av paven selv. Rossi ble senere generalsuperior for Scalabrinifedrene og ble ganske nær dem i sitt arbeid med dem.