Tijdens het consistorie van 26 juni 1967 creëerde paus Paulus VI hem kardinaal. Hij kreeg de "San Callisto" als titelkerk. Kardinaal Ursi nam deel aan het eerste conclaaf van 1978 en ook aan het tweede, die leidden tot de verkiezing van respectievelijk paus Johannes Paulus I en Johannes Paulus II. Tijdens het oktoberconclaaf gold hij - vooral omdat men hem vond lijken op paus Johannes Paulus I - als "papabile". Hij zou tijdens dat conclaaf ook een flink aantal stemmen hebben vergaard.