嘉永元年、尾張藩士・庄屋三輪泰助の次男として生まれる。12歳のとき尾張藩士・青山小助の養子。13歳にして武術を志し、天自流の原彦四郎に師事。また天誅組の松本奎堂に私淑し、尊王思想に触れる。文久2年（1862年）、脱藩し江戸へ上り、長崎奉行岡部駿河守に仕える。また剣術を神道無念流の斎藤弥九郎に学び、水戸に渡るも志を得ず、江戸へ戻る。その後久留米の神職真木保臣の周旋で久留米藩に出仕。しかし自らの脱藩で青山家が断絶の憂き目にあっていると知り帰国、小吏となる。だが役職への不満から再び脱藩、江戸を経て越前へと赴いた。そこで中根雪江と祝杯を挙げる。その後、勤皇の同志が集う京都に赴き、尾張藩側近田宮如雲のもと諜報活動に徹する。のち、成瀬正肥に仕え大阪、ついで安芸広島、岩国に赴き、各地の維新志士の動向を田宮に報告した。この功績から、明治維新後徒士目付組頭および秩禄19石、俸禄三人口を賜り、間もなく藩の機密掛に取り立てられる。やがて軍人の道に進み、明治4年（1871年）8月歩兵第六番大隊四番小隊長に就任したのを皮切りに、東京鎮台第3分営小隊長、初代歩兵第六連隊副官を歴任。佐賀の乱では歩兵第十大隊第四中隊長として従軍し、田手川の戦闘で迂回攻撃を成功させ、江藤新平から戦闘続行の意思を奪う勝利に貢献した。また西南戦争には歩兵第十四連隊第二大隊長心得として従軍。第一大隊右半第二大隊左半を率い植木にて薩軍と交戦。負傷により一時戦線を退くも、陣中戦死した吉松速之助少佐の後任として第3大隊長となっている。戦後は広島鎮台参謀、歩兵第八連隊隊長、広島鎮台参謀長などを歴任し、明治25年（1892年）1月6日少将に進むと共に予備役に入った。予備役編入後すぐの2月には衆議院議員に選ばれたが、3月の第5議会解散に伴い退職。故郷名古屋に戻り武揚学校（現愛知県立明和高等学校）校長を務めていたが、明治34年(1901年)には名古屋市長に推され、明治39年（1906年）4月まで勤めた。大正元年（1912年）7月24日死去。戒名は覚然院殿暁山自明大居士。没後従四位を追贈された。愛知県名古屋市千種区の平和公園平和堂に名古屋市歴代市長の一人として胸像が設置されている。
1882年、ハンガリーのティツァ・エズラという村で、キリスト教徒の少女エステル・ソリモシが行方不明になった。すると当地の反ユダヤ主義の議員たちの扇動によって血の中傷が焚き付けられ、すぐさま地域のユダヤ人が告発された。法廷に立たされたユダヤ人は15人に上ったが、その中には屠殺人のシェロモー・シェヴァイツも含まれていた。このときは裁判所も教会も事件にあまり関心を示さなかったが、続いて公務員ヨセフ・シャープの2人の子供が誘拐され、教会の近くで監禁されるという事件が発生した。すると、この両事件によっていわば洗脳状態に陥った住民たちから、あたかもエステルの殺害現場を目撃したかのような証言が相次いだ。そのほとんどが、シナゴーグの中でシュヴァイツがエステルの喉を引き裂く様子をドアの鍵穴を通して見た、というものであった。マウリッツ・シャープという名のユダヤ人の若者は、傷口から滴り落ちる血をどのようにしてシュヴァイツが器の中に注ぎ込んでいたのかといった細部にまで言及している。また、犯人はシュヴァイツだけでなく、告発された残りの14人の他、自分の父親も事件に関与しており、彼らはエステルが暴れないよう押さえつけていたと証言した。さらには教会関係者の指示通り、地域のユダヤ人有力者の姿も現場で目撃したと供述した。シュヴァイツが抗弁の際、人間の首を切断した場合、傷口からは猛烈な勢いで血は噴出するので、一方の手で首を切断し、もう片方の手で血を受け止めるのは不可能であると主張したときは、これらの疑問に抵触しないよう証言し直している。事件を担当した弁護士、兼作家のカーロイ・エトベスは現場検証のために複数の裁判官をシナゴーグへ派遣したが、現場からは若者の供述を裏付けるものは何も出てこなかった。それどころか、シナゴーグのドアには鍵穴さえもなかったのである。この裁判は反ユダヤ主義者による暴動を惹き起こし、ついにはパラシュブルク（現ブラチスラバ）をはじめとした各都市でポグロムが発生するに至った。ハンガリー政府は戒厳令を敷くと共にユダヤ人居住区のある地域に軍隊を派遣した。首相ティサ・カールマーンは要職者に対して、公権力の立場にいる限りは決して無実のユダヤ人に危害を加えることを許してはならないと警告した。後日、ティサ川からエステルの遺体が引き上げられたが、その遺体に暴力が加えられた痕跡がないのは明白であった。ところが、彼女の母親は教会からの圧力を受けて、その遺体が自分の娘であることを否定したのである。また、遺体を引き上げた漁師たちは当局によって拷問を受け、公判の際、その遺体がユダヤ人によって引き渡された別人のものであると証言した。それによると、ユダヤ人が地域の病院から密かに遺体を搬出し、行方不明時にエステルが着ていた衣服を着せてから漁師たちに引き渡したというのである。つまり、ユダヤ人の依頼に従ってその遺体を川に投げ捨て、数日後に自分たちで引き上げたという自作自演説を主張したのである。とはいえ、遺体が消失したという記録はどこの病院にも残されていなかった。遺体はブダペストに搬送され、政府が派遣した病理学者の手で解剖されたが、調査の結果、エステルが死亡時に妊娠していたことが判明した。おそらく、愛人の子を妊娠したものの、その相手に逃げられてしまい、将来を悲観した挙句に入水自殺したものと見られている。エトベスの熱心な弁護により、告発されたユダヤ人全員の無実を訴える抗告がなされたが、ブダペスト高裁において棄却された。エトベスはこの事件の詳細を記録し、全3巻の書籍にまとめて発表した。また、彼が下院議員でハンガリー民主党の党首だった時には、ユダヤ人の権利を守るために彼の承認の下、自発的に訴訟費が支払われている。その後、彼は政党から除籍され、議員資格も剥奪された。そして各方面からの迫害に耐えながら不遇な生涯を送った。しかし今日のハンガリーでは、彼は国民的な英雄として尊敬されている。一方、偽証したマウリッツ・シャープは事件後にオランダに移住したが、そこでユダヤ教の信仰を取り戻し、事件に関する自伝的書物を発表した。アルノルト・ツヴァイクは1918年、戯曲"Ritualmord in Ungarn"（ハンガリーの人柱）を補完するため、マウリッツの自伝を基にして小説「サマエルの使命」を執筆している。