Bungei vertegenwoordigde zijn geboorteland ook in Athene tijdens de Olympische Spelen van 2004. Hierbij werd hij in de finale vijfde in 1.45,31. Vier jaar later op de Olympische Spelen van 2008 in Peking won hij een gouden medaille. Met een tijd van 1.44,65 eindigde hij voor de Soedanees Ismail Ahmed Ismail (zilver) en zijn landgenoot Alfred Yego (borns). Eerder won hij ook goud op de wereldindoorkampioenschappen van 2006 in Moskou. Hij versloeg in deze race de Zuid-Afrikaan Mbulaeni Mulaudzi en olympisch kampioen Joeri Borzakovski.