Rui Silva conquistou mais 3 medalhas nos anos que antecederam os Jogos Olímpicos de Atenas, em 2004. Em Viena, renovou o título de campeão europeu de pista coberta, em Março de 2002. Super-favorito para a prova dos 1500 metros, o sportinguista bateu Juan Carlos Higuero ao sprint, conquistando o bi-campeonato europeu indoor, com o tempo de 3.35,86. Nos Europeus de Agosto, a medalha conquistada foi de bronze, a sua estreia no último lugar do pódio em grandes competições internacionais. Em Munique, o campeão português ficou atrás do promissor atleta francês Mehdi Baala e do espanhol Reyes Estévez, com a vitória de Baala apenas a ser decidida em photo finish. Reyes Estévez ainda julgou ter ganho e celebrou a vitória com a volta de honra, antes da decisão oficial ter saído. A corrida foi lenta demais, contra as preferências de Rui Silva, que conquistou a medalha de bronze por apenas 3 centésimos, graças a um esforço final impressionante. 2003 não foi um ano tão simpático para o escalabitano, que não passou das qualificações nos Mundiais de pista coberta em Birmingham e ficou em 5º Lugar nos Mundiais de Paris. No entanto, os resultados voltariam à normalidade, em vésperas de Jogos Olímpicos, com a medalha de prata do Campeonato Mundial de Pista Coberta, Budapeste 2004, na prova dos 3000 metros. O recordista português da distância apenas perdeu para o queniano Bernard Lagat, provando que foi boa a aposta em competir nesta distância, tão perto dos Jogos de Atenas.