Niyongabo nousi kansainvälisen yleisön tietoisuuteen juostuaan hopealle 1 500 metrillä 1992 nuorten MM-kisoissa. 1995 Göteborgin MM-kisoissa hän sijoittui 1 500 metrillä pronssille.