Kiprop voitti hopeaa Brysselin maastojuoksun MM-kisoissa 2004 nuorten sarjassa ja oli samalla voittamassa nuorten joukkuekilpailussa pronssia Ugandan joukkueessa. Yleisurheilun nuorten MM-kisoissa Grossetossa hän voitti 10 000 metrin juoksun ajalla 28.03,77 ja sijoittui 5 000 metrillä viidenneksi ajalla 13.33,18. Samana vuonna hän oli neljäs Ateenan olympialaisissa 10 000 metrillä ajalla 27.25,48 ja kahdeksas 5 000 metrillä ajalla 13.15,48. Kaksi viikkoa olympialaisten jälkeen hän rikkoi Richard Chelimon 13 vuotta vanhan 10 000 metrin nuorten maailmanennätyksen Brysselissä ajalla 27.04,00.