カラヤンは1908年にザルツブルク州のザルツブルクで、騎士 (Ritter) の子として生まれた。兄のヴォルフガング（1906年 - 1987年）も後に音楽家になっている。先祖はビザンティン帝国（東ローマ帝国）に仕えたギリシャ人のカラヤニス家（Karaiannis, Caragianni）の出身であるといわれているが、ギリシャ化したアルメニア人（スラブ系マケドニア人の説もあり）だという説もある。カラヤンのカラはテュルク語で「黒」を意味するが、バルカン言語地域ではその語は存在しない。アルーマニア人（中世の東ローマ帝国時代にギリシャ北部、マケドニアなどの山岳部に住んでいた、ラテン語系統の言語を話す少数民族。ヴラフ人とも呼ばれ、ルーマニア人の先祖ではないかともいわれる）の子孫という説もある。高祖父のゲオルク・ヨハネス・カラヤニスは現在のギリシャ共和国のコザニに生まれて1767年にウィーンへ向けて出発し、最終的にはザクセン地方のケムニッツに定住した。ゲオルク・ヨハネスは兄弟と共にザクセンの服飾産業の世界で成功し、フリードリヒ・アウグスト3世に仕えて1792年6月1日に爵位を受け、貴族の称号である「フォン」を添えてvon Karajanという苗字になった。ヘルベルトの母方はスロヴェニア人の家系であり、民族的にはスラヴ人の血を引いている。カラヤン自身は、自らがオーストリア人であることを強く自認していた。ザルツブルクのモーツァルテウム音楽院とウィーン音楽院で学んだ後、親の買い上げたオーケストラによりザルツブルクでデビュー。ドイツのウルム市立歌劇場の総監督から誘いが来て、1929年に『フィガロの結婚』でオペラ指揮者として脚光を浴び、1934年には同国アーヘン市立歌劇場で音楽監督に就任した。1938年のベルリン国立歌劇場におけるヴァーグナーの『トリスタンとイゾルデ』の指揮で国際的にも認められ、これにより、翌1939年にはベルリン国立歌劇場およびベルリン国立管弦楽団の指揮者の地位を得るとともに、イタリアのミラノ・スカラ座でオペラを指揮することとなった。1946年、ウィーン・フィルとの第二次世界大戦後初の演奏会を前に、戦時中ナチスの党員であった ことを理由に、ソ連の占領軍によって公開演奏停止処分を受けた。しかし、翌1947年には再び処分保留となった。1948年にウィーン交響楽団の首席指揮者、翌1949年にウィーン楽友協会の音楽監督に就任。また、イギリスのレコード会社EMIの録音プロデューサーのウォルター・レッグの元で、フィルハーモニア管弦楽団との演奏活動およびレコード録音も盛んに行うようになった。1951年、戦後再開したバイロイト音楽祭の主要な指揮者として抜擢される。しかし、翌年には音楽祭を主催するヴィーラント・ワーグナーと演出を巡って対立。この後、ヴィーラントの死後もバイロイトに戻ることはなかった。この時期ウィーンフィルおよびウィーン国立歌劇場とも断絶状態となっている。1954年11月、ドイツ音楽界に君臨していたヴィルヘルム・フルトヴェングラーが急逝したことで、翌1955年にフルトヴェングラーとベルリンフィルとのアメリカ演奏旅行の代役を果たし成功をおさめ、この旅行中にベルリン・フィルの終身首席指揮者兼芸術総監督に就任、1989年まで34年もの長期間この地位にとどまった。戦後、フルトヴェングラーの死までカラヤンは同団の指揮台に2～3回しか登場しておらず、急転直下の就任であった。1957年には同楽団と初の日本演奏旅行を行う（カラヤン自身は1954年、NHK交響楽団を指揮するため単身来日していた）。日本公演ではワーグナーの『トリスタンとイゾルデ』の「前奏曲と愛の死」やブラームスの交響曲第1番などが特に評価され、日比谷公会堂の客席からはすすり泣きさえ聞かれたという。1956年にはウィーン国立歌劇場の芸術監督に就任。ベルリンとともに、世界の人気を二分する両オーケストラを同時にたばねることになり、このころから帝王と呼ばれ始める。残された録音が少ないために忘れられがちであるが、この時期を中心にウィーン交響楽団への登場も非常に多い。演奏会としてはフィルハーモニア管弦楽団の倍以上、150回に及び、これはベルリン・フィルに次ぐ数字である。特に同団とは姉妹関係にあるウィーン楽友協会合唱団との共演による声楽曲（バッハの「マタイ受難曲」やベートーヴェンの「ミサ・ソレムニス」など）やブルックナーがこのコンビの得意レパートリーであった。ウィーン国立歌劇場のポストは監督のエゴン・ヒルベルトと対立し1964年に辞任。以後十数年、ウィーン・フィルとは一部のレコーディングとザルツブルク音楽祭のみでの関係となる。1950年代からはミラノ・スカラ座でも主要な指揮者として活躍していた（当初はドイツオペラ担当、のちイタリアオペラも指揮）。1964年12月17日にスカラ座での椿姫の上演が完全に失敗したため、以後スカラ座では「椿姫」の上演を封印することとなった（カラスの呪い）。このころから健康問題の不調に悩まされるようになりながらも、世界中でおびただしい回数の演奏旅行を行った。ウィーン離任後はベルリン・ドイツ・オペラにも一度登場するが、この関係は継続されず。以後彼のオペラ活動は歌劇場よりも音楽祭が中心となっていく。1965年には映画監督アンリ＝ジョルジュ・クルーゾーとともにコスモテル社を設立して、クラシック音楽の映像化事業にも着手している。1967年には、自らの理想に沿うワーグナーのオペラの上演をめざして、ザルツブルク復活祭音楽祭を始めた。1972年にはベルリン・フィルとともに3度のコンサートを行い、ザルツブルク聖霊降臨祭音楽祭をも創設し、自ら音楽監督に就任した。ベルリン・フィルがオペラのオーケストラピットに入るようになったのはこの音楽祭が契機となっている。1972年、ベルリン・フィルハーモニー管弦楽団団員の養成を目的としたオーケストラ・アカデミー、いわゆるカラヤン・アカデミーを創設した。1982年、自身の映像制作会社テレモンディアルをモンテカルロに設立。ベートーヴェン交響曲全集をはじめとする、主要レパートリーの映像化にも着手した。四半世紀にわたり、カラヤンとベルリン・フィルは良好な関係を維持したが、1983年、女性クラリネット奏者ザビーネ・マイヤーの入団を巡り、加入を認めないベルリン・フィルと対立した。その激しい軋轢は新聞種にもなり、ベルリン・フィルの芸術監督辞任の噂もささやかれたが、翌年和解に至る（結局マイヤーは自ら退団）。晩年を迎えたカラヤンはこの騒動の後、ベルリン・フィルからの離反を強め、もう一つのヨーロッパを代表する楽団であるウィーン・フィルとの結びつきをより深めていくことになる。1988年、ドイツの雑誌『デア・シュピーゲル』は「お金の魔術師」というタイトルでカラヤン批判の特集記事を組んだ。その内容とは、コロンビア・アーティスト・マネージメントがカラヤンとベルリン・フィルの台湾への演奏旅行の条件として法外な出演料と、カラヤンとウィーン・フィルとの演奏フィルムの購入を台湾側に要求したというものだった。このスキャンダルに加え、カラヤンのベルリンでの演奏回数が減っていたという事情も手伝って、カラヤンへの批判が噴出した。ベルリン・フィルやドイツの野党からも退任を求める声が高まった。翌1989年4月24日、ウィーン・フィルとの演奏会出演の翌日に、健康上の理由でベルリン・フィルの芸術監督と終身指揮者を辞任した。7月16日、当時ソニーの社長だった大賀典雄がカラヤンの自宅を訪ねた時、カラヤンは「左胸のあたりが調子悪いから、自宅の温水プールで泳いだ」と語った。大賀は、カラヤンに次世代のデジタルビデオ・カメラを出来るだけ早く納品する約束と、カラヤンがLDでの発売しか認めていなかったレガシー・シリーズの映像作品を8ミリのソフトで発売しないかという営業に来ていた。エリエッテ夫人がシャワーを浴びている時に、カラヤンが突然ぐったりとなり、大賀の腕に抱かれたまま心停止となった。緊急のヘリコプターが呼ばれたが間に合わなかった。それは、カラヤンがDGからソニーに移籍する直前の死去だった。満81歳没（享年82）。移籍に当たっては、そのテストケースとしてカルロ・マリア・ジュリーニを先にソニーへ送り込み、また「カラヤンの耳」とも喩えられたレコーディング・エンジニアのギュンター・ヘルマンスも送り込んでいた。辞任したベルリン・フィルとの最後のコンサートは、ザルツブルク復活祭音楽祭でのヴェルディのレクイエム。生涯最後の録音と演奏会は、ウィーン・フィルとのブルックナーの交響曲第7番だった。カラヤンは逝去する前日にザルツブルク祝祭大劇場で、この年の夏のザルツブルク音楽祭でプレミエを迎えるヴェルディの歌劇『仮面舞踏会』のリハーサルを行っていた。この突然の死がなければ、ウィーン・フィルと自身のレパートリーの新録音・再録音に着手し、また、1991年には10年ぶりにウィーン国立歌劇場に復帰する予定だったともいわれている。カラヤンは指揮者の職業病とも言える脊椎の持病に悩まされ続け、生涯に12回もの大手術を受けた。1978年の脳梗塞（『家庭交響曲』のリハーサル中、落とした指揮棒を取ろうとして指揮台から落ちたのが発作の原因であった）等が追い撃ちをかけた。晩年には、歩行も厳しいほど体のコントロールを失うことにもなった。その頃のカラヤンは指揮台の柵につけられた、サドル状の特製の椅子に座って指揮し、長年目をつぶって指揮していたオーケストラのみの曲でも1983年ごろからは目を開いて指揮することが多くなった。オペラや合唱曲を指揮する時は、全盛期でも目を開けて指揮しており、これは残された映像で確認できる。