1919年（大正8年）生まれ。三重県飯南郡飯高町出身。父は野呂庫治郎。東京高等師範学校卒業。戦後、三重県議会議員選挙に地元の飯南郡から立候補して当選し、県議会議員となった。1959年（昭和34年）には三重県議会議長に就任した。その後、県議を辞めて衆議院議員に転身した。三木武夫に師事し、自由民主党三木派に所属した。1972年（昭和47年）、第2次田中内閣で法務政務次官に就任。1973年（昭和48年）、息子・野呂昭彦を秘書とした。四十日抗争に際しては、三木や海部俊樹（後の内閣総理大臣）に従い福田赳夫に一票を投じた。1979年（昭和54年）、第2次大平内閣で厚生大臣に就任。1980年（昭和55年）のハプニング解散につながる内閣不信任決議案には三木らが欠席したにもかかわらず、石田博英らとともに敢然と出席し反対票を投じた。1990年（平成2年）、勲一等瑞宝章を受章した。ほかに、防衛政務次官、衆議院商工委員会委員長、衆議院石炭対策特別委員会委員、自由民主党恩給制度調査会会長などの要職を歴任した。
既知で最古のフォスファテリウムであるが、系統進化の観点からは、彼らが属するヌミドテリウム科をもって長鼻目（ゾウ目）の最古とすることは認められていない。 上述のモエリテリウムはフォスファテリウムより後の時代である始新世層から見出されるが、この進化系統でさらに古いとされるアントラコブネ科（Anthracobunidae）が系統的に最も古い長鼻目である、との見解にいまだ変更は見られない。
体長約60cm、推定体重約15kgときわめて小さい。また、現生のゾウのような鼻もほとんど発達していない。 体の大きさこそ違うが、始新世後期に現れるモエリテリウム（メリテリウム。Moeritherium）とあい通じる特徴が認められ、水生植物を主食として暮らす水陸両生の動物であったと推定されている。 すなわち、体のサイズはイヌ程度であるが、生態的にはカバのような姿であったと見られる。
明治2年（1869年）6月2日、戊辰戦争での功績により永世禄1500石を賜り、木戸孝允（桂小五郎）、大久保利通と並び新政府の幹部となった。10月24日、軍務官副知事に就任、益次郎は軍制改革の中心を担い、明治2年（1869年）6月には政府の兵制会議で大久保らと旧征討軍の処理と中央軍隊の建設方法について論争を展開している。兵制会議は6月21日から25日にかけて開催された。そこで、藩兵に依拠しない形での政府直属軍隊の創設を図る益次郎らと、鹿児島（薩摩）・山口（長州）・高知（土佐）藩兵を主体にした中央軍隊を編成しようとする大久保らとの間で激論が闘わされた。益次郎は諸藩の廃止、廃刀令の実施、徴兵令の制定、鎮台の設置、兵学校設置による職業軍人の育成など、後に実施される日本軍建設の青写真を描いていた。そのための第1段階として3年間のうちに現在の藩兵を基にする軍の基礎づくり、第2段階として大阪に軍の基地、兵学校や武器工場を置いてハード面での組織作りを行った後、徴兵、鎮台制を置くという考えであった。大阪に着眼したのは、当時、東北の動向を心配する関係者に対して、益次郎が「奥羽はいま十年や二十年頭を上げる気遣いはない。今後注意すべきは西である。」と答えたように、西郷らを中心とする薩摩藩の動向が気になっていたためと言われ、すでに西南戦争を予想していたのである。だが、国民皆兵を目標とする益次郎の建設的な意見は周囲の理解を得られなかった。大久保は戊辰戦争による士族の抵抗力を熟知していたため、かえって士族の反発を招くと考え、岩倉具視らは農民の武装はそのまま一揆につながるとして慎重な態度をとっていたのである。この兵制論争中、6月21日段階での争点は、京都に駐留していた三藩の各藩兵の取り扱いをめぐってのものであった。益次郎を支持する木戸も、論争に加わり援護意見を述べたが、23日に大久保の主張に沿った形で、京都駐留の三藩兵が「御召」 として東下することが決定され、この問題については大久保派の勝利に終わった。また23日の会議では、先の陸軍編制法の立案者であり、大久保の右腕ともいえる吉井友実も議論に加わり、今後の兵卒素材についての議論も始まった。ここでも大久保・吉井らの主張する「藩兵論」と益次郎や木戸が主張する「農兵論（一般徴兵論）」が激しく衝突し、議論は翌日も続いた。しかし会議の結果、兵制問題は後日改めて議論することとされ、益次郎の建軍プランの事実上の凍結が決定され、この日、25日まで続く兵制論争がほぼ決着した。益次郎の建軍構想はこの会議の結果、ことごとく退けられることとなった。さらに25日には、大久保が益次郎の更迭を主張し始めている。憤懣やるかたない益次郎はほどなく辞表を提出したが、当時の政府内には、軍事に関して益次郎に代わるべき人物はなかった。そのため、木戸も二官八省への官制改革が行われる前日の7月7日に益次郎と面会し、益次郎を慰留するとともに改めて支持を約束し、軍務官を廃して新たに設置される兵部省に出仕することを求めた。その結果として、翌日益次郎は兵部大輔（今の次官）に就任することとなった。益次郎は「御一新は旧習を脱し、公家方を武家の風にいたし、強気にやる様のはずなしつるに、またまた卿とか大輔とか相唱へ、自然軟弱に陥り、追々武家も公家の方に引きつけらるべし」と皮肉を述べている。