Kiprop aloitti juoksemisen peruskouluikäisenä ja voitti aluekilpailuja. Isänsä neuvosta hän ei kuitenkaan harjoitellut kovasti ennen murrosikää. Hän palasi juoksemisen pariin vuonna 2003, jolloin hän lopetti koulunkäynnin keskittyäkseen juoksuun. Muun muassa Daniel Komenia ja Moses Kiptanuita valmentanut Jimmy Beauttah alkoi valmentamaan Kipropia. Kiprop osallistui vuonna 2006 Kenian sisäisiin karsintoihin päästäkseen Pekingin nuorten MM-kisoihin, mutta hän jäi karsinnoissa neljänneksi ja ulos kisajoukkueesta. Kipchoge Keinon poika Martin Keino kuitenkin huomasi Kipropin lahjakkuuden ja otti hänet harjoittelemaan Kip Keinon harjoituskeskukseen Eldoretiin. Seuraavana vuonna Beauttah sai suostuteltua Kipropin kilpailemaan myös maastojuoksussa. Hän voitti Kenian nuorten mestaruuskisoissa hopeaa, mutta MM-joukkueen karsinnoissa hän jäi yhdenneksitoista. Kiprop valittiin siitä huolimatta kisajoukkueeseen. Mombasan MM-kisoissa hän voitti nuorten MM-kultaa.