1953 wurde das Apostolische Vikariat "Kagera Inferiore" als Bistum Rutabo kanonisch errichtet und Rugambwa wurde deren erster Bischof. Das Bistum wurde 1960 in Bistum Bukoba, nach einer Stadt am Victoriasee, umbenannt. Am 28. März 1960 sorgte Papst Johannes XXIII. mit der Ernennung Rugambwas zum Kardinalpriester mit der Titelkirche "San Francesco d’Assisi a Ripa Grande" und ersten afrikanischen Kardinal für eine echte kirchengeschichtliche Sensation. Nach dem Tod des Papstes nahm er am Konklave 1963 teil. Ab 1968 war er Erzbischof des Erzbistums Daressalam, der Hauptstadt Tansanias. 1978 nahm er an den beiden Konklaven im August und Oktober teil. Die Leitung des Erzbistums Daressalam legte er erst 1992 nieder.