1857年5月29日、ザクセン王国のドレスデンにおいて、数学教授の子として生まれた。プロイセン邦有鉄道（プロイセン国鉄）の第1回の建築科試験を通って採用され、ベルリン市街線の高架工事やケルンの駅改良工事などに携わり、1884年にシンケル奨励賞を受賞した。在外研究員としてスコットランドやアメリカ合衆国で研修を積み、1892年からベルリン高等工業学校のハインリヒ・ミューラー＝ブレスラウ教授（橋梁技術）の助手を務めた。1898年（明治31年）2月に、日本政府の招聘に応じて妻と2人の娘を連れて日本へ赴任し、勅任官待遇で逓信省鉄道作業局（当時の国有鉄道網を管轄する役所）の技術顧問に就任した。バルツァーが技術顧問に就任した19世紀末の時点で、東京の鉄道網は、官設鉄道が新橋駅（後の汐留駅）を起点として東海道本線が伸びていた。また私鉄の日本鉄道が上野駅を起点として後の東北本線・高崎線などを、甲武鉄道が飯田町駅を起点として後の中央本線を、そして総武鉄道が本所駅を起点として後の総武本線を伸ばすなど、それぞれのターミナル駅から四方へ鉄道が伸びていた。しかしこの間の相互連絡は不十分で、日本鉄道の山手線が当時の東京市街地の西側で連絡している程度であった。東京の都市計画を考える市区改正の事業の中で、ロンドンやパリでターミナル駅の連絡が不十分であることの弊害が指摘され、市街地を貫通する高架線や環状線によりターミナル駅同士の連絡が図られているベルリンを参考にして、これらのターミナル駅の間を直結することが提案されていた。このために実際にベルリン市街線の工事に携わったヘルマン・ルムシュッテルやバルツァーが招かれることになった。バルツァーは、これらのターミナル駅を相互に連絡するように計画した、東京の鉄道網全体への提案を行った。この計画によれば、官設鉄道と日本鉄道が南北に連絡し、また甲武鉄道と総武鉄道が東西に連絡して、秋葉原駅において十字に交差する。さらに、甲武鉄道と総武鉄道の双方から新設される中央停車場、後の東京駅へ短絡線が建設されて乗り入れる。バルツァーが帰国した後この計画は実際に進展し、1914年の東京駅開業、1919年の中央本線東京駅乗り入れ、1925年の東京 - 上野間開通と山手線の環状運転開始、1932年の総武本線両国 - 御茶ノ水間開通、そして1972年の総武快速線東京駅乗り入れにより結果的にすべての計画が実現することになった。こうした鉄道網の計画を実現するために、東京駅に至る高架鉄道の建設が推進された。この当時、まだ鉄筋コンクリートの技術は十分に発達していなかったので、都市部に連続した高架橋を建設するには橋脚の上に鋼製桁を載せる構造か、煉瓦製アーチ橋の連続とする構造しかなかった。このため、ベルリンの赤煉瓦アーチの高架鉄道を全面的に参考にして建設する提案がルムシュッテルによりまとめられていた。これに沿って、新永間建築事務所が発足して日本側の技術者により基礎設計が進められていた。これに対してバルツァーは耐震性の見地から赤煉瓦アーチを止めて、鋼鉄製カンチレバー橋にバックルプレートと呼ばれる床板を張り、騒音防止のためにバラストを敷設した構造を提案した。この構造は結果的に架道橋の部分では採用されたが、高架橋の部分では採用されず、ルムシュッテル原案通りの赤煉瓦アーチ橋となった。鋼製桁は高価であるものの、重い煉瓦アーチ橋では基礎の強化に金がかかり結果的に大差ないとバルツァーは考えていたが、当時の日本の工業力では鋼製桁は輸入に頼らなければならず多大な資金が海外に流出してしまうのに対して、煉瓦は国産で賄えたため貴重な資金の流出を防ぐことができるということが大きな理由であった。このためバルツァーは原案に沿って赤煉瓦アーチ橋の設計を進めたが、その耐震性には懸念を抱いていた。結果的に関東大震災ではこの赤煉瓦アーチ橋は被害を受けることが無かった。こうして建設した高架鉄道をどのように利用すべきかについては、既にルムシュッテルが原案を示しており、複々線で建設した線路のうち、西側の2線を東京近郊の交通に供する山手線の環状運転および京浜線電車（後の京浜東北線）に、東側の2線を長距離列車の利用に供することを想定していた。これはほぼ実現することになるが、しかし長距離列車の貫通運転は実現しなかった。これはまず、私鉄の日本鉄道が資金的な面から市街地への高架線延伸になかなか踏み出せなかったため、東京駅が当初は頭端式の駅として開業することになったことが一因で、バルツァーも本来通過式にすべき駅を頭端式に利用することは鉄道の発展の観点から望ましくなく、早急に通過式にすべきであると考えていた。後に東京と上野を結ぶ線が開通しても、結局長距離列車の貫通運転は実施されなかった。ベルリンでは、東側から来た列車は市街線を抜けて西側のシャルロッテンブルク駅に発着し、西側から来た列車はやはり市街線を抜けて東側のシュレージエン駅に発着することで、ベルリン市内の長距離列車停車駅では東西どちら方面の列車も利用できるようになっていた。これに倣って、東海道本線の列車は尾久に、東北本線の列車は品川に車両基地を置いて、互いに列車を通過運転とし、この間の品川駅・新橋駅・東京駅・上野駅で双方の列車を利用できるようにすることが想定されていた。しかし日本では、東海道本線こそ複線化されていたが、この当時の東北・上信越方面はほぼ単線のままで線路容量に大きな差異があり、自動信号化の進展度合いも大きな差があったため、直通すると東北・上信越方面のダイヤ乱れが東海道に波及して望ましくないとの声があがった。ことに東北・上信越方面では冬期の積雪でダイヤ乱れが頻繁に起きる実態からも、東海道本線への列車直通は断念することになり、ルムシュッテルとバルツァーの計画した長距離列車の貫通運転は実現しなかった。バルツァーは東京駅の設計にも関与した。日本建築に関心を持っていたバルツァーは、瓦屋根を持った日本建築様式の東京駅舎を提案していた。しかしヨーロッパ崇拝の時代であった当時の日本にあってはこれは日本側にはまったく受け入れられるものではなかった。実際にルネサンス風の建築で東京駅舎を設計した辰野金吾からは、バルツァーの提案した日本風駅舎は「赤毛の島田髷」と酷評された。これは日本に来た西洋婦人が物珍しさから、洋服を着ながら日本風の髷を結ったり下駄を履いたりといった日本趣味を行うことに例えたもので、日本人から見れば不恰好で日本文化の理解も不十分であるとした。もっとも、バルツァーの駅舎案こそ採用されなかったものの、東京駅の基本的な平面構成はほぼそのまま採用された。駅舎の中央に皇室専用の出入り口を設けホームへ通じる専用通路を備えるというアイデアはバルツァーのものであった。また南側を乗車専用口に、北側を長距離列車の降車専用口に、皇室口の脇を近距離列車の降車専用口に分離するという発想もそのまま引き継がれた。皇室専用口を中央に設けたのは皇室や外国の賓客利用の際の利便性を考慮したものであったが、このために乗車口と降車口が南北に遠く離れてしまい、一般利用客にとっては不便極まりないことになった。これは1948年（昭和23年）にどの出入り口からでも乗降できるように変更されるまで続いた。東京駅の八重洲側には当初貨物駅の設置計画があり、バルツァーの設計原案でもそのように配慮されていた。しかし鉄道国有化に伴い、隅田川駅・秋葉原駅・飯田町駅など私鉄の保有していた貨物駅を国鉄が利用できることになったことからこれは取り止めとなり、このスペースは車両基地に用いられることになった。こうして東京駅は広大なスペースを八重洲側に備えて開業することになったが、将来的にこうした設備を郊外に移転させれば、ホームを増設しあるいは商業施設を設置するために利用できると、バルツァーは土地活用のことまで配慮していた。結果的にこのスペースはのちに東海道新幹線の乗り入れや八重洲の駅ビル設置に活用されている。日本での功績により勲三等旭日中綬章を受けて、1903年（明治36年）2月に帰国した。帰国後はプロイセン邦有鉄道シュテッティン鉄道管理局管理長官に就任し、1906年には拓殖省技術顧問となって、1907年から東アフリカのドイツ植民地やウガンダ、トーゴなどを周り、これらの地域の鉄道設計を行っている。また新永間建築事務所長として東京駅および高架鉄道建設の日本側責任者を務めた岡田竹五郎は、1906年から1907年にかけて欧米各国を訪問した際にドイツでバルツァーと面会し、東京駅の設計についてバルツァーの日本風建築が結局採用されなかったことを報告して了解を得ている。1914年、第一次世界大戦が勃発すると57歳ながら陸軍大尉として出征して負傷し、鉄十字章を受けている。第一次世界大戦後、中国の山東省においてドイツが利権を保有していた鉄道がドイツの敗戦により譲渡されることになり、そのための日本側の代表者との会談に出席した。鉄道院総裁官房研究所長の田中富士夫は、この鉄道の価値はゼロだと主張して結局無償譲渡となり、バルツァーを憤慨させている。後にベルリンでバルツァーを訪ねてこのことを知らされた鉄道技術者の那波光雄は、田中に問いただしたところ、鉄道国有化の際に年間利益の20倍の価格で私鉄の買収を行ったが、山東鉄道は赤字の鉄道だったので価値をゼロと算定した、と答えている。1920年からベルリン高等工業学校機械科名誉教授となり、1922年に建築アカデミー会員となった。1923年にプロイセン邦有鉄道を退官した。1927年9月13日、ヴィースバーデンの自宅において亡くなった。その葬儀に際しては、日本の帝国鉄道協会から弔電が送られ、また鉄道省の現地事務所の担当者が派遣されて花輪を供えている。