Em 2002, estreou na maior competição do continente para a ginástica - os Jogos Asiáticos. Na edição de Busan, na Coreia do Sul, Yerimbetov qualificou-se para cinco das oito finais possíveis. Na primeira delas, por equipes, foi o quinto colocado, em seguida, no concurso geral, atingiu a oitava posição. Nos aparelhos repetiu a mesma colocação, foi quarto no salto, na barra fixa e nas paralelas. Mais tarde, no Mundial de Debrecen, na Hungria, foi à final do salto, na qual terminou em sexto lugar. No ano posterior, participou de outra edição dos Jogos Universitários. Na ocasião, conquistou a medalha de prata no individual geral e as de ouro nas provas do salto e das barras paralelas. Ainda em 2003, participou do Campeonato Mundial de Anaheim, nos Estados Unidos, no qual somou pontos para terminar entre os cinco primeiros, na quarta posição. Qualificado, pôde disputar sua primeira edição olímpica, os Jogos de Atenas, na Grécia. Neles, atingiu a aclassificação para duas finais: individual geral (14º) e paralelas (8º).