Etter å ha forlatt Bolsjojteateret, fokuserte Kondrasjin på dirigering av orkestre. Her arbeidet han med ledende musikere, som Gilels, Kogan, David Ojstrakh, Richter og Rostropovitsj. Denne delen av karrieren fikk en betydelig fremgang da han akkompagnerte vinneren av den Internasjonale Tchaikovsky-konkurransen i 1958, pianisten Van Cliburn, både i Sovjetunionen og USA. Dette resulterte i innspillinger som var med på å etablere hans internasjonale renommé. Han ble utnevnt til sjefsdirigent i Moskva Filharmoniske Orkester i 1960, og ble her til 1975. Han erfaring med opera hadde gitt han et godt grunnlag for å gjennomføre gode fremførelser og samtidig klare å få frem fargefulle og dramatiske trekk i orkesteret. I 1960 sluttet han å bruke taktstokk, og satt sin lit til gestikulasjon, fingerbevegelser og øyekontakt med musikerne. Han utvidet repertoaret til å inkludere symfonier av Mahler, samt en mengde nye verk av ledende sovjetiske komponister som Khatsjaturjan, Shchedrin, Sjostakovisj og Sviridov. Som anerkjennelse fikk Kondrasjin Sovjetunionens høyeste utmerkelse for kunstnere, Folkets Artist av Sovjetunionen. Etter han sluttet som sjefsdirigent i Moskva Filharmoniske Orkester underviste han på konservatoriet i Moskva og dirigerte utenlands. Han døde uforventet av et hjerteinfarkt, 7. mars 1981.