ブラームスやブルックナーなどの独墺系の音楽、及びチャイコフスキーや直接の親交を持ったショスタコーヴィチなど第二の故郷ともいうべきロシア・ソ連の音楽を得意とした。作曲者の没後しばらくはほとんど評価されていなかったラフマニノフの交響曲を、最も早い時期からレパートリーに取り入れていた指揮者の一人でもある。マーラーの交響曲第10番をデリック・クックによる補筆完成版に独自の校訂を施して演奏したことや、独墺系の指揮者が取り上げることの比較的少ないシベリウスの交響曲を独自の解釈で聴かせたことでも知られる。しかし活動の中心が旧東側主体であったこと、録音に積極的でなかったためにメジャー・レーベルの録音が少ないことから、実力がなかなか知られなかった。録音は、主としてベルリン響やシュターツカペレ・ドレスデンを指揮したものがDENONやBERLIN Classicsから出ている。引退演奏会の録音はHarmonia Mundiから発売されたボックスセットに収録されている。
東プロイセンのアリス（現在のポーランド・ヴァルミア＝マズールィ県オジシュ）に生まれた。幼い頃から音楽に興味を示し、10歳でケーニヒスベルク（現ロシア領カリーニングラード）のギムナジウムに通い、音楽を学び始めた。1931年にベルリン市立歌劇場のコレペティートルとして音楽家としてのキャリアをスタートさせた。しかしナチスが勢力を拡大すると、母親がユダヤ人であった彼はドイツ国籍を剥奪され、1935年におじが在住していたソビエト連邦に亡命した。同国ではモスクワ放送交響楽団でジョルジュ・セバスティアンのアシスタントとして研鑚を積んだ。1937年にモスクワでモーツァルトのオペラ『後宮からの誘拐』を指揮してデビューした。1939年にはハリコフ・フィルハーモニー管弦楽団の首席指揮者に就任した。1941年にレニングラート・フィルハーモニー交響楽団の第一指揮者に就任し、エフゲニー・ムラヴィンスキーの下でさらに研鑚を積んだ。このソ連滞在中にドミートリイ・ショスタコーヴィチと知り合い、親交を結んだ。1958年のレニングラート・フィルの初訪日公演では指揮者の一人として日本を訪れた。その後、1960年に東ドイツ政府に請われて帰国し、ベルリン交響楽団の芸術監督、首席指揮者に就任、短期間のうちにこの歴史の浅いオーケストラを同国屈指のレベルにまで鍛え上げた。1964年から1967年まではシュターツカペレ・ドレスデンの首席指揮者も兼務した。1965年にザルツブルク音楽祭にデビューし、西側でも広くその名を知られるようになった。1972年には健康の衰えの見られたオットー・クレンペラーを補佐する要請を受け、フィルハーモニア管弦楽団の首席客演指揮者に就任した。後に同楽団からは名誉指揮者に任命された。1973年のシュターツカペレ・ドレスデンの来日公演では、すでに首席の座を離れていたにもかかわらず、メインの指揮者として帯同した。その後もたびたび来日し、1976年、1978年、1980年、1990年には読売日本交響楽団を客演指揮し、同楽団から名誉指揮者に任じられた。1977年にはベルリン響のポストを退いたが、同楽団とは以後も終身客演指揮者、名誉指揮者として緊密な関係を保った。その後はフリーの立場で精力的な活動を続けた。2002年に高齢を理由に指揮活動からの引退を表明、5月19日の引退演奏会でベルリン響を指揮してブラームスの「ハイドンの主題による変奏曲」、モーツァルトのピアノ協奏曲第24番（共演は内田光子）、シューマンの交響曲第4番を演奏し、自らの指揮活動に幕を降ろした。2011年9月18日、自身の誕生日の前日にベルリンで死去した。98歳。死因は老衰とみられる。
父は若狭太良庄城（福井県小浜市）の城主、岡和泉守盛俊という。岡越後守と称し、諱は定俊。岡野左内、岡野定政、岡野定俊と書かれることもある。後に編纂された『上杉将士書上』など、上杉氏の関連文書では岡野左内となっていることから、岡野の表記も多く定まっていない。ただし現存する史料では、慶長2年（1597年）に蒲生氏が村の境界争いに出した裁定書に、奉行人の一人として岡左内の名で署名がある。元亀4年（1573年）に織田信長が若狭を制圧した後、領主となった丹羽長秀に仕えずに若狭を離れ、蒲生氏に仕官したものと考えられる。『武徳編年集成』によれば天正12年（1584年）秋から半年の間、蒲生氏郷は木造具政の篭城する戸木城を包囲した。この戦いで18歳の岡源八なる者が、敵将の畑作兵衛重正を討ち取ったという。この源八が左内であるとされる。合戦で多くの功績を挙げ、氏郷が会津92万石を領してからは1万石の知行を与えられた。氏郷没後の慶長3年（1598年）、蒲生騒動で宇都宮18万石に減封となったが、ここで蒲生氏に替わり会津を領地とした上杉氏に仕え直した。上杉氏宰相の直江兼続から4200石を与えられている。上杉氏と伊達氏が争った慶長6年（1601年）の松川合戦では、伊達政宗を散々に打ち破る戦功を挙げたという。『武辺咄聞書』によれば、南蛮の伴天連より贈られた「角栄螺の甲」と「鳩胸鴟口の具足」を身につけていたとされ、これは西洋甲冑（南蛮胴）ではないかといわれている。上杉氏が120万石から米沢30万石に転封されると、再び会津60万石の領主となった蒲生秀行に仕え、1万石の猪苗代城城代に任ぜられた。熱心なキリシタンでもあり、私財で教会や神学校を建て、神父を招いて布教に励んだという。子孫は後に蒲生氏が改易されてからは、黒田氏や津軽氏に仕官した。いくつかの逸話が知られているが、利殖に巧みであり、部屋中に金銭を敷き詰めて、その上で裸になって昼寝するのを楽しみとしたという。この話はよく知られ、『雨月物語』中の一篇「貧福論」にも採用されている。単なる守銭奴ではなく、慶長5年（1600年）の会津征伐では上杉家諸将が急な戦費調達に苦しむ中、こういう時にこそ惜しみなく使わねばならないと、財貨を主君の景勝に献上し、同僚に貸し与えた。上杉氏の転封に当たっては、借財の証文を全て焼き払って退散し、直江兼続からもその人物を惜しまれたという。