Bielsan johdolla Argentiinan eteni MM-kisoihin 2002, mutta tie katkesi jo alkulohkovaiheeseen maan jäätyä kolmanneksi Ruotsin ja Englannin taakse. Bielsa sai kuitenkin jatkaa tehtävissään ja johdatti Argentiinan Copa Américan hopealle 2004 ja Olympiakultaan 2004. Temppu oli historiallinen, sillä olympiavoitto meni Etelä-Amerikkaan ensimmäistä kertaa sitten 1928 olympialaisten. Argentiinalle olympiakulta oli ensimmäinen 52 vuoteen. Menestyksestä huolimatta Bielsa päätti jättää maajoukkuevalmentajan tehtävät syyskuussa 2004.