De følgende årene slet Niyangabo med flere skader, og nådde ikke opp til sitt tidligere prestasjonsnivå. Han forsøkte å forsvare olympiatittelen i Sydney fire år senere, men ble slått ut etter å ha blitt nummer 15 i sitt semifinaleheat.