Carmine Rocco ble presteviet den 26. juli 1936 og ble inkardinert i bispedømmet Calvi e Teano. Som forberedelse til den diplomatiske karriere ble han sendt til Det pavelige diplomatakademi i Roma i 1937. Fra 1939 til 1946 var han utplassert til nuntiaturet i Frankrike, som fra desember 1944 var ledet av erkebiskop Angelo Roncalli, den senere pave Johannes XXIII. Han virket ved nuntiaturet i Argentina fra 1946 til 1949, i Roma ved Statssekreteriatet fra 1953 til 1956 og ved nuntiaturet i Brasil fra 1956 til 1959.