Da familien i 1956 flyttet etter, begynte Jansons etter hvert sine musikkstudier ved musikkonservatoriet i Leningrad. Her studerte han klaver og direksjon, etter opprinnelig ha fått fiolinundervisning av faren som barn. I 1969 vant han et studiestipend til Wien og ble Herbert von Karajans assistent tre år på rad ved Festspillene i Salzburg.