Национальную команду Бьелса возглавил в сентябре 1998 года, сменив на тренерском посту Даниэля Пассареллу. Под его руководством аргентинцы выиграли отборочную группу к чемпионату мира 2002, но на самом турнире даже не смогли пройти первый этап соревнования. После этого тренера стали критиковать большинство футбольных СМИ в Аргентине. Но несмотря на это, Бьелсе был дан второй шанс, и он им воспользовался, заняв второе место на Кубке Америки 2004 и выиграв с командой золотые медали Олимпиады 2004 в Афинах. Эта победа стала первой с 1928 года футбольной победой сборной из Южной Америки на Олимпийском футбольном турнире. В конце 2004 года Бьелса ушёл в отставку, мотивировав её личными причинами. Последним его матчем стала игра с командой Перу, выигранная аргентинцами. Его преемником в сборной стал Хосе Пекерман.