Med opprettelsen av bispedømmet Byumba den 5. november 1981 av pave Johannes Paul II, ble han utnevnt til dets første biskop. Han ble ordinert til biskop av erkebiskopen av Kigali, Vincent Nsengiyumva, den 17. januar året etter i i Byumba; medkonsekratorer var erkebiskop Thomas Anthony White, apostolisk nuntius til Rwanda, og Phocas Nikwigize, biskop av Ruhengeri.