Familien til Gielen emigrerte til Argentina i 1940. Han studerte musikk og filosofi i Buenos Aires og ble etterpå tilsatt som repetitør ved Teatro Colón. I 1950 flyttet han til Wien der han jobbet ved Wiener Staatsoper og ble kjent med dirigenter som Herbert von Karajan og Dimitri Mitropoulos. Fra 1960 til 1965 tjente han som musikkdirektør ved Kungliga Operan i Stockholm. I 1969 overtok han det belgiske nasjonalorkesteret i Brussel, fra 1973 til 1975 virket ham som sjefdirigent ved operaen i Amsterdam. Mens han var direktør i Oper Frankfurt (1977–1987), utviklet huset seg til et ledende musikkteater i Europa. I 1978 ble Gielen samtidig utnevnt til første gjestedirigent for BBC Symphony Orchestra. Mellom 1980 og 1986 ledet han Cincinnati Symphony Orchestra. Like etterpå ble han tilknyttet SWR Sinfonieorchester Baden-Baden und Freiburg, en oppgave han ivaretok til 1999. Senere ble han orkesterets æresdirigent.