Niyongabo, som tilhører tutsifolket, gjorde seg først bemerket i 1992, da han tok sølv på 1500 meter i junior-VM. I VM 1993 i Stuttgart ble han slått ut i semifinalen på 1500 meter. Niyongabo ble etter hvert en av verdens beste 1500-meterløpere, og vant flere store stevner i årene 1994 og 1995. I VM 1995 i Göteborg tok han bronse, bak Noureddine Morceli og Hicham El Guerrouj.