I 1971 ble Jansons ansatt som assisterende dirigent ved Leningrad-filharmonien (senere kalt St. Petersburg filharmoniske orkester). Da han overtok som sjefdirigent for Oslo Filharmoniske Orkester i 1979, var betingelsen at han ikke kunne spille med sovjetiske avhoppere på podiet. Årene 1979-2000 med ham som dirigent regnes som Oslo-filharmonikernes gullalder, med stor suksess både i Oslo, på en rekke turneer og ved mange plateinnspillinger. I 1992 fikk Jansons også jobben som første gjestedirigent i London filharmoniske orkester. I mars 1997 ble han utnevnt til musikalsk leder i .