Am 22. April 1920 ernannte ihn Papst Benedikt XV. zum Bischof von Volterra. Die Bischofsweihe empfing Raffaele Carlo Rossi am 25. Mai desselben Jahres durch Kardinal Gaetano De Lai. 1923 berief ihn Papst Pius XI. zum Assessor der Konsistorialkongregation und ernannte ihn zum Titularerzbischof von "Thessalonica". Pius XI. nahm ihn am 30. Juni 1930 als Kardinalpriester mit der Titelkirche "Santa Prassede" in das Kardinalskollegium auf. Im selben Jahr wurde er zum Päpstlichen Thronassistenten berufen. Am 4. Juli 1930 wurde er vom Papst zum Sekretär der Konsistorialkongregation ernannt. Trotz dieser Ämter versuchte Kardinal Rossi das asketische Leben der Unbeschuhten Karmeliten weiterzuführen. Nach dem Tod von Pius XI. nahm er am Konklave 1939 teil. Während des Zweiten Weltkrieges ergriff Rossi viele karitative Maßnahmen, die vor allem durch die päpstlichen Einrichtungen POA und ONARMO gefördert wurden.