Bunun üzerine Olag Romantsev gönderildi. Yerine CSKA Moskova'nın teknik direktörü Valeri Gazzaev getirildi. Rusya eleme grubunda İsviçre, İrlanda, Arnavutluk ve Gürcistan ile eşleşti. Grubun favorileri Rusya, İrlanda ve kendini gün geçtikçe geliştiren İsviçre idi. Rusya elemelere İrlanda ve Arnavutluk karşısında alınan galibiyetler ile başladı. Fakat Arnavutluk ve Gürcistan karşısında alınan yenilgiler Gazzaev'in millî takımdaki kariyerini tehlikeye sokuyordu. Basel'de İsviçre ile yapılan maç berabere sonuçlanınca Gazzaev'in görevine son verildi. İrlanda ile 1-1 berabere kaldıkları maçın öncesinde teknik direktörlük görevine Georgi Yartsev getirildi. Yartsev yönetimindeki Rusya evinde oynadığı maçlarda İsviçre ve Gürcistan'ı yenmeyi başardı. Ekip play-off kuralarında Galler ile eşleşti. Moskova'da oynanan ilk maçtan gol sesi çıkmadı. Galler'in Cardiff kentinde oynanan maçta Rusya, Galler'i Vadim Yevseyev'in attığı golle yendi. Böylece EURO 2004 turnuvasına gitmeye hak kazandı. Ama Yegor Titov'un doping testinin pozitif çıkması bu galibiyeti gölgeledi. Titov bu nedenden ötürü bir yıllık men cezası aldı.