In 2004 won Kipchoge brons op de Olympische Spelen van Athene op de 5000 m achter Hicham El Guerrouj (goud) en Kenenisa Bekele (zilver). Hij won ook een bronzen medaille op de 3000 m op de wereldindoorkampioenschappen in Moskou in 2006. Datzelfde jaar won hij op de LBBW Meeting 2006 in Kalsruhe de 3000 m in 7.33,07. Op 31 december 2006 liep hij op de 10 km van de "San Silvestre Vallence" een tijd beneden het bestaande wereldrecord. In een hevige strijd met Zersenay Tadese kwam hij met een tijd van 26.54 als winnaar uit de bus. Zersenay Tadese liep dezelfde tijd, maar eindigde een fractie later dan Kipchoge. De door beiden gerealiseerde tijd kon echter niet als wereldrecord worden erkend, omdat het hier een point-to-point race betrof, waarbij het verval over de eerste acht kilometer met 55 meter ook nog eens vijfmaal het toegestane maximum was.