Ved Montreal Symphony Orchestra var Mehta fra 1960–1967 hoveddirigent og musikalsk leder. Etter dette gikk han videre til å være musikalsk leder for Los Angeles Philharmonic Orchestra (1962–1978), New York Philharmonic Orchestra (1978–1991). Han er den som lengst har vært musikalsk leder for New York Philarmonic Orchestra. I 1969 ble han utnevnt til musikalsk rådgiver for Israel Philharmonic Orchestra, musikalsk leder i 1977 og i 1981 utnevnte de ham til musikalsk leder på livstid. Ved siden av dette har han fra 1998 vært musikalsk leder for Bayerische Staatsoper i München. Mehta er videre Münchner Philharmonikers æresdirigent.