鳥取藩士、小原平之進の長男として江戸小石川に生まれるが、8歳の時、群馬県高崎市に移り住み、11歳の時に母方の村上家の村上源兵衛の養子となり村上姓を名乗る。明治17年（1884年）に東京へ行き、軍人を志したが耳疾のために断念し、明治法律学校（明治大学の前身）で法学を学びながら、司法代書人（司法書士の前身）となった。父の勤務先である高崎裁判所司法代書人となる。以後、鬼城は亡くなるまでの一生を高崎で過ごした。その傍らで俳句を嗜み、広島市の大本営にいた正岡子規に教えを請い、また幾度となく『ホトトギス』に俳句の投書を行っていた。子規の死後、彼は『ホトトギス』主宰である高浜虚子から句を見てもらうことになるが、高崎での俳句会で虚子の推輓を受ける。それが契機となって1913年（大正2年）から『ホトトギス』の同人活動を始め、1918年（大正7年）に自身の作品が入選。以後は司法代書人の傍ら、俳人、また撰者としても敏腕を振るうことになった。8人の娘と2人の息子を儲け子宝に恵まれたが、生活は絶えず困窮していたという。しかしながら人脈は深く、51歳の時に代書人を解雇された時には、虚子門下の弁護人を立てて復職を遂げている。1938年（昭和13年）、胃癌のため高崎市の自宅で死去。74歳没。戒名は青萍院常閑鬼城居士。墓所は高崎の龍広寺。
1942年9月5日、ドイツ人の父ディートリヒとクロアチア人の母エリーザベトとの間にミュンヘンで生まれ、バイエルン州の田舎で育つ。13歳からの一時期、ミュンヘンのアパートでクラウス・キンスキーと共同生活をしていた。キンスキーは後にヘルツォークの多くの作品で主演を務めることになる。その後、ミュンヘン大学で歴史とドイツ文学を学んだ後、奨学金を得てアメリカに渡り、ピッツバーグのデュケイン大学で学んだ。1962年に短編『Herakles』を製作して映画監督としてデビュー。1968年には初の長編『生の証明』を発表。第18回ベルリン国際映画祭で新人監督賞を受賞した。1972年、キンスキーを初めて起用し、エル・ドラード発見を目指す16世紀の南米探検隊を描いた『アギーレ/神の怒り』を発表。翌1973年に第26回カンヌ国際映画祭の監督週間部門に出品された。また、2005年にはタイム誌の「歴代映画ベスト100」の一本に選出された。1974年、19世紀に実在したとされる青年カスパー・ハウザーを描いた『カスパー・ハウザーの謎』を発表。翌1975年の第28回カンヌ国際映画祭で審査員特別グランプリを受賞した。1977年、ベルリンからアメリカへ移住した男たちを描いた『シュトロツェクの不思議な旅』を発表。タオルミナ国際映画祭で審査員特別賞を受賞した。1979年、F・W・ムルナウ監督の『吸血鬼ノスフェラトゥ』（1922年）をリメイクした『ノスフェラトゥ』を発表。第29回ベルリン国際映画祭に出品された。本作ではキンスキーの他にイザベル・アジャーニとブルーノ・ガンツを起用している。また、同年にはゲオルク・ビューヒナーの未完の戯曲を映画化した『ヴォイツェク』を発表。第32回カンヌ国際映画祭に出品され、エヴァ・マッテスが助演女優賞を受賞した。1982年、オペラハウスの建設のためにアマゾン川を航海する男を描いた『フィツカラルド』を発表。第35回カンヌ国際映画祭で監督賞を受賞した。1984年にはオーストラリアの原住民アボリジニの姿を映した『緑のアリが夢見るところ』を発表。1987年には5度目のキンスキー起用となった『コブラ・ヴェルデ』を発表した。1991年、登山家ラインホルト・メスナーの原案を元にした『彼方へ』を発表。第48回ヴェネツィア国際映画祭で金オゼッラ賞を受賞した。以後、1990年代は主にドキュメンタリーやテレビ映画を製作する。1999年には5度に渡って主演に起用したクラウス・キンスキーについてのドキュメンタリー『キンスキー、我が最愛の敵』を発表した。本作ではヘルツォーク自身の他にクラウディア・カルディナーレやミック・ジャガーらが出演している。2001年、第二次世界大戦前のポーランドを舞台にした『神に選ばれし無敵の男』を発表。10年ぶりの劇映画製作となった。本作ではティム・ロスを主演に起用している。2005年、その2年前に死去したグリズリーの保護活動家ティモシー・トレッドウェルの姿を映したドキュメンタリー『グリズリーマン』を発表。第71回ニューヨーク映画批評家協会賞や第31回ロサンゼルス映画批評家協会賞などでドキュメンタリー映画賞を受賞した。また、本作は初のアメリカでの製作となった。同年にはSF風の作品『The Wild Blue Yonder』が第62回ヴェネツィア国際映画祭のオリゾンティ部門に出品され、国際映画批評家連盟賞を受賞している。2009年、ニコラス・ケイジを主演に起用し、アベル・フェラーラ監督の『バッド・ルーテナント/刑事とドラッグとキリスト』（1992年）をリメイクした『バッド・ルーテナント』、デヴィッド・リンチを製作総指揮に迎えた『狂気の行方』を発表。ともに第66回ヴェネツィア国際映画祭のコンペティション部門に出品された。2010年、ショーヴェ洞窟の壁画を映した3Dドキュメンタリー『世界最古の洞窟壁画 3D 忘れられた夢の記憶』を発表。同年、第60回ベルリン国際映画祭のコンペティション部門の審査員長を務めた。2013年、第66回ロカルノ国際映画祭で名誉豹賞を受賞した。2014年、ニコール・キッドマンを主演に、イラク王国の建国に携わったガートルード・ベルの伝記映画『アラビアの女王 愛と宿命の日々』を発表した。2017年現在、D・B・C・ピエールの小説『ヴァーノン・ゴッド・リトル―死をめぐる21世紀の喜劇』を原作とした『Vernon God Little』を製作している。