Kemboi deed nooit aan atletiek, totdat hij van school afkwam en gelijk in 2001 op de 3000 m steeple het Afrikaans jeugdkampioenschap won. In 2002 finishte hij op dit onderdeel als tweede op de Gemenebestspelen achter landgenoot Stephen Cherono. In datzelfde jaar werd hij vierde op de Afrikaanse atletiekkampioenschappen, maar kreeg later alsnog het brons toebedeeld, toen bleek dat bronzenmedaillewinnaar Brahim Boulami uit Marokko doping had gebruikt.