Foran OL 1996 i Atlanta var Niyongabo blant favorittene på 1500 meter, men han overlot startplassen til sin landsmann og trener Dieudonné Kwizera. Kwizera hadde ikke kunnet delta i 1988 og 1992, fordi landet den gang ikke hadde noen nasjonal olympisk komité. Begge tjente på dette: Kwizera fikk endelig sin OL-deltakelse, og Niyongabo vant svært overraskende 5000-meterløpet, etter at han hektet av samtlige konkurrenter på sisterunden.