Romancev fu immediatamente esonerato e sostituito con Valerij Gazzaev, allenatore del . Sorteggiata in un difficile girone con , , e , la Russia iniziò le eliminatorie del campionato d'Europa 2004 vincendo in casa contro Irlanda e Albania, ma perse le due successive trasferte in Albania e Georgia. Dopo il deludente pari contro la Svizzera a Basilea Gazzaev fu esonerato e rimpiazzato da Georgij Jarcev, che grazie alle vittorie interne contro Svizzera e Georgia riuscì a qualificare la Russia per il play-off contro il . Dopo il pareggio a reti bianche a Mosca, la vittoria per 1-0 a Cardiff grazie ad un colpo di testa di Vadim Evseev consentì ai russi di accedere alla fase finale dell'europeo portoghese. La vittoria fu oscurata dalla positività di Egor Titov ad una sostanza illecita, il bromantan, episodio che costò al calciatore russo un'ammenda e una squalifica di un anno, comminate il 15 febbraio 2004. Titov fu così costretto a saltare l'europeo.