Affecté par cet échec, Bielsa est cependant reconduit à la tête de la sélection. Il engage un changement de génération avec les retraites de Simeone, Batistuta et les déclins d'Ortega, Lopez et Verón, et obtient deux résultats majeurs en 2004, avec une finale en Copa América, perdue face au Brésil aux tirs au but (2-2, tab 4-2), puis une médaille d'or aux Jeux olympiques d'Athènes avec la sélection olympique. Cette dernière, limitée aux joueurs de moins de 23 ans encadrés par Ayala et Kily González, est portée par le talent de Carlos Tévez, meilleur buteur du tournoi. Quelques semaines plus tard, Bielsa quitte son poste à la surprise générale. Il est remplacé par José Pékerman, chargé de longue date de la sélection des moins de 20 ans, triple championne du monde en 1995, 1997 et 2001.