Choge vant allerede som ungdom 3 000 meter ved VM for ungdom i 2003. Året etter deltok han igjen ved VM for junior, og vant 5 000 meter. Som junior vant han også VM i terrengløp i 2005. Han deltok ved VM 2005 i Helsingfors, men gikk ikke videre til finalen på 1 500 meter.