Den 17. desember 1973 utnevnte pave Paul VI utnevnt til biskop av Nyundo. Han ble ordinert til biskop den 2. juni året etter av erkebiskopen av Dar es Salaam, kardinal Laurean Rugambwa; medkonsekratorer var André Perraudin, erkebiskop av Kabgayi, og forgjengeren i Kabgayi, biskop Aloys Bigirumwami. Den 10. april 1976 ble Vincent Nsengiyumva utnevnt til erkebiskop av Kigali.