Quatrième des championnats du monde de cross en début de saison 2004, il remporte les sélections olympiques du Kenya en établissant un nouveau record personnel (). Aux Jeux olympiques d'Athènes, Kipchoge monte sur la troisième marche du podium du derrière Hicham El Guerrouj et Kenenisa Bekele, avec le temps de . Cinq jours plus tard, il établit la meilleure performance de l'année sur  en remportant le meeting de Bruxelles en , avant de s'imposer sur la même distance lors de la Finale mondiale disputée à Monaco.