Rui Silva monte sur la troisième marche du podium des Jeux olympiques de 2004, à Athènes, où il s'incline avec le temps de 3 min 34 s 68 face au Marocain Hicham El Guerrouj et au Kényan Bernard Lagat. Durant cette finale des JO d'Athènes, il réalise un dernier tour de folie en dépassant 9 concurrents. Son dernier 400 m a été chronométré en 50 s 80 (c'est-à-dire le dernier tour le plus rapide jamais réalisé sur une course de 1 500 m). Médaillé de bronze aux Championnats du monde 2005, il se classe troisième de la course individuelle des Championnats d'Europe de cross, permettant à l'équipe du Portugal d'occuper la première place du classement général par équipes.