Han ble ordinert til prest den 21. desember 1901 i Pisa etter at han hadde fullført sine kirkelige studier ved karmelittenes læresteder i Roma. Deretter underviste han i karmelitthus fra 1902 til 1920 etter å ha studert videre ved det pavelige universitet Gregoriana. En av hans forelesere ved var kardinal Louis Billot, og han ble venn med fader Eugenio Pacelli - den fremtidig pave Pius XII. Rossi virket også en tid ved i ordenshuset i Firenze.