Kiprop var framgångsrik som junior. Vid afrikanska juniormästerskapen 2001 blev han guldmedaljör på 5 000 meter och silvermedaljör på 10 000 meter. Han vann även guld på 10 000 meter vid junior-VM 2004. Samma år deltog han vid Olympiska sommarspelen 2004 där han blev fyra på 10 000 meter. Samma placering nådde han vid VM 2005 i Helsingfors. Han avslutade året med att bli tvåa vid IAAF World Athletics Final 2005 i Monaco på 5 000 meter.