Em 1995, competiu no Mundial de Sabae, sendo medalhista de ouro no salto, empatado com o ucraniano Grigory Misutin. Nemov ainda foi finalista na prova de solo, na qual encerrou na sétima colocação; por equipes, foi apenas quarto. Abrindo o calendário de competições de 1996, disputou a Copa Europeia, sendo medalhista de ouro no solo, no salto e nas barras paralelas. No cavalo com alças, terminou com a medalha de prata. Participando do Campeonato Mundial de San Juan, conquistou novamente o ouro no salto, a prata nas paralelas e o bronze no cavalo com alças. Como último evento do ano, deu-se sua primeira aparição olímpica; nos Jogos Olímpicos de Atlanta. Neles, ao lado de Sergei Kharkov, Nikolai Kryukov, Alexei Voropaev, Yevgeni Podgorny, Dmitri Trush e Dmitri Vasilenko, conquistou a medalha de ouro na prova coletiva, superando a equipe chinesa e ucraniana, prata e bronze, respectivamente. Na disputa geral individual, foi medalhista de prata; o chinês Li Xiaoshuang, conquistou a medalha de ouro. Classificado para mais quatro finais, Alexei conquistou medalhas em todos os eventos: o ouro no salto, e três medalhas de bronze no solo, no cavalo com alças e na barra fixa. Com isso, Alexei tornou-se o maior medalhista do evento, totalizando seis conquistas. No ano posterior, disputando mais uma edição do Mundial, terminou medalhista de ouro nos exercícios de solo. Na etapa de Stuttgart da Copa do Mundo, foi ouro no salto e prata no solo. Em 1998, na Final da Copa do Mundo de Sabae, foi prata no solo e ouro no salto. Disputando o Campeonato Europeu de São Petersburgo, foi ouro no solo, prata por equipes e bronze na disputa geral individual. Em 1999, no Mundial de Tianjin, foi ouro no solo e no cavalo com alças, e prata por equipes, superado pela equipe chinesa.