Niyongabo, een Tutsi, liet voor het eerst van zich horen op de wereldkampioenschappen voor junioren van 1992 in Seoel, waar hij zilver won op de 1500 m. Hij bereikte snel de wereldtop. Op de Bislett Games van 1994 won hij de "Dream Mile" in 3.48,94 en op die van 1995 won hij de 1500 m in 3.30,78. Op de wereldkampioenschappen van 1995 in Göteborg werd hij op deze afstand derde achter Noureddine Morceli en Hicham El Guerrouj.