Papst Pius XII. ernannte ihn am 29. Juli 1951 zum Bischof von Nardò. Die Bischofsweihe spendete ihm am 30. September desselben Jahres der spätere Kardinal Carlo Confalonieri, damals Sekretär der Kongregation für die Seminare und Universitäten. Papst Johannes XXIII. übertrug ihm am 30. November 1961 die Leitung des Erzbistums Acerenza. Corrado Ursi nahm in den Jahren 1962 bis 1965 am Zweiten Vatikanischen Konzil teil. Papst Paul VI. ernannte ihn am 23. Mai 1966 zum Erzbischof von Neapel und nahm ihn ein Jahr darauf, am 26. Juni 1967, als Kardinalpriester mit der Titelkirche "San Callisto" in das Kardinalskollegium auf. Während seiner Zeit als Erzbischof von Neapel war er zugleich Großkanzler der Päpstlichen Theologischen Fakultät von Süditalien. Er nahm sowohl im August als auch im Oktober 1978 am Konklave teil.