2004 Choge oli loukkaantumisen takia sivussa Kenian MM-maastojen karsinnasta, mutta voitti Kenian nuorten MM-kisojen karsinnan 5 000 metrin juoksussa ja lopulta kisoissa voitti mestaruuden jättäen jälleen Bekeleä kahdella sekunnilla. Hän teki vuoden aikana ennätyksikseen 1 500 metrillä 3.36,64, 3 000 metrillä 7.36,82 ja 5 000 metrillä 12.57,01. Kauden lopussa hän sijoittui 5 000 metrillä kolmanneksi. Vuonna 2005 hän voitti Kenian nuorten MM-maastojen karsinnan ja voitti nuorten kilpailun myös MM-kisoissa. Kenian joukkue voitti myös joukkuekultaa. Hän paransi kauden aikana ennätyksiään 1 500 metrillä aikaan 3.33,99, 3 000 metrillä uusi nuorten maailmanennätys 7.28,78 ja 5 000 metrillä 12.53,66. Helsingin MM-kisoissa hän karsiutui 1 500 metrin alkuerissä ja hän oli 3 000 metrillä kolmas.