Hans helse begynte å svikte i begynnelsen av 1947 og den pavelige lege rådet til total hvile. Han døde i Crespano del Grappa i løpet av natten 17. september 1948 og ble gravlagt i kirken Santa Teresa al Corso d'Italia. Han ble funnet død i sengen (med et lite smil om ansiktet) med tre bøker ved siden av: en var Bibelen og en annen var . Han hadde flyttet til Crespano del Grappa måneden før på grunn av sviktende helse og bodde hos Scalabrini-fedrene. Pave Pius XII sa at Rossis bidrag til Kirken var stort og ville bli anerkjent i fremtiden. Paven omtalte også Rossi som i forhold til Scalabrini-fedrene på grunn av hans store nærhet og omfattende arbeid med dem.