Vainqueur des sélections olympiques kényanes, en altitude, en , puis des meetings Golden League de Lausanne et de Paris, Ezekiel Kemboi figure parmi les favoris des Jeux olympiques de 2004, à Athènes. Saif Saeed Shaheen, son plus grand rival, qui l'a dominé à deux reprises en début de saison, ne participe pas à cette compétition en vertu du règlement olympique qui l'oblige à être naturalisé depuis au moins trois ans pour être sélectionnable par son nouveau pays. Le 24 août, en finale, Kemboi prend la tête de la course à de l'arrivée en compagnie de ses compatriotes Brimin Kipruto et Paul Kipsiele Koech, et de l'ex-kenyan naturalisé qatari Musa Obaid Amer. Il effectue une dernière accélération lors de l'ultime ligne droite et s'impose finalement en devant Kipruto et Koech, permettant à cette occasion au Kenya de réaliser le premier triplé olympique sur steeple depuis Barcelone 1992. Le 3 septembre, quelques jours après la fin des compétitions, Saif Saeed Shaheen, grand absent des Jeux, établit un nouveau record du monde à Bruxelles en . Lors de la finale mondiale d'athlétisme, fin septembre à Monaco, Kemboi termine deuxième de l'épreuve, à près de six secondes de Shaheen, mais réalise néanmoins sa meilleure marque de l'année en .