Dans le rôle d'entraîneur, Garcia fait d'abord monter l'AS Corbeil-Essonnes en CFA 2 en 1997, puis le Dijon FCO en Ligue 2 en 2004. Il se fait ensuite remarquer au plus haut niveau français en qualifiant le Lille OSC en Coupe d'Europe chaque année à partir de 2009, avant de réaliser le doublé coupe-championnat en 2011, mais perd en Trophée des champions. Parti à l'AS Rome, Rudi et son équipe réalisent le meilleur début de saison de l'histoire de la Serie A mais il termine vice-champion deux années consécutives. Avec l'Olympique de Marseille, il se qualifie pour la finale de la Ligue Europa en 2018 mais perd face à l'Atlético Madrid (0-3). Il est finaliste de la Coupe de la Ligue 2019-2020 avec l'Olympique lyonnais.