かねてより足尾銅山の鉱毒被害は問題となっており、1895年（明治28年）には、栃木県知事・佐藤暢と群馬県知事・中村元雄は連名で政府に足尾銅山に関する要望書を提出するが、榎本はこれを放置。1896年9月の大洪水で鉱毒被害が拡大・激化。翌1897年2月、田中正造が国会で鉱業停止を命じない理由の回答を求める質問書を提出し、政府の取り組みを非難する演説を行った。これに勢いづいた被害農民は1千名を超える陳情団（第1回大挙東京押出し）を上京させ、榎本は3月5日、被害農民と面談した。3月18日、先の田中の質問に対して、政府は榎本と内務大臣・樺山資紀の連名で、「示談契約は古河鉱業と被害農民の民事上の問題であり政府は関与しない。鉱業停止も鉱業条例に適合するか断言できない。但し政府は黙視していたわけではない」という回答書を出したが、この回答は被害農民の反発を招き、第2回大挙東京押出しを引き起こす。3月23日、榎本は谷干城や津田仙の助言を受け入れ、津田の案内で現地を視察。同日夜、大隈重信に相談し、24日に鉱毒調査委員会を設置した。27日に再度陳情団と面談の後、29日に大臣を引責辞任、前官礼遇を受ける。なお辞表では「脳症に罹り激務に耐えがたい」ことを辞任理由としている。
1894年（明治27年）1月22日、第2次伊藤内閣の農商務大臣に就任する。当時、日本は鉄鋼需要の大半を輸入に依存しており、政府は新たに製鉄所（後の八幡製鐵所）の建設を計画していた。製鉄所は民営とすることで1893年に閣議決定していたが、榎本は大臣に就任すると官営を主張し先の閣議決定を覆した。1896年（明治29年）、製鉄所建設の予算が成立し、3月29日に製鉄所官制が公布。榎本は製鉄所初代長官に腹心の山内堤雲を就けた。なお、荒井郁之助による浦賀船渠の設立（1897年（明治30年））を後援している。
1891年5月11日に大津事件が発生すると、榎本は、5月15日、ロシアへの謝罪使節・有栖川宮威仁親王の随行員を命じられたが、17日にロシア公使が使節派遣は不要と表明したことから中止となる。但し外務大臣・青木周蔵が引責辞任すると、5月29日、榎本が後任に任命され、義弟の林董を次官とした。青木が取り組んでいた条約改正交渉を継続し、1892年（明治25年）4月12日、条約改正案調査委員会を立ち上げ、同年、ポルトガルが経費削減のため総領事を廃止したのを機に同国の領事裁判権を撤廃した。また、以前から私的に取り組んでいた海外殖民を政策として進めた（メキシコ殖民の項を参照）。1892年8月8日、第1次松方内閣総辞職に伴い外務大臣を辞任、枢密顧問官となる。
1885年、榎本と伊庭想太郎らが中心となり、旧幕臣の子弟に対する奨学金支給のため徳川育英会を設立。この徳川育英会を母体に、1891年（明治24年）3月6日、東京・飯田橋に「育英黌」を設立し管理長に就任した（校長は永持明徳）。育英黌は、農業科（現在の東京農業大学）、商業科、普通科の3科があったが、甲武鉄道の飯田橋延伸に伴う敷地の買収話が持ち上がり、農業科は翌1892年10月23日、小石川区大塚窪町（現在の文京区大塚三丁目）に移転し、育英黌分黌農業科と改称した（校長は伊庭想太郎）。更に1893年、私立東京農学校と改称し、榎本は校主となった（校長は伊庭）。1894年に徳川育英会から独立したが、毎年の入学者が50人を超えず生徒が集まらない状況に榎本は廃校を決意。しかし農学校の評議員であった横井時敬が反対し運営を引き継ぐ。榎本は手を引き、1897年（明治30年）、農学校は大日本農会に移管された。
1889年（明治22年）2月11日の大日本帝国憲法発布式では儀典掛長を務めた。同日暗殺された文部大臣・森有礼の後任として、3月22日、逓信大臣から文部大臣へ横滑りする。第1次山縣内閣で留任し、明治天皇の希望であった道徳教育の基準策定を命じられる。大臣親任式で天皇から特に希望されたにもかかわらず、積極的に取り組まなかった。そのため1890年（明治23年）2月の地方官会議で知事たちから突き上げられ、5月17日に更迭、枢密顧問官となった。また、同年開催された内国勧業博覧会の副総裁を務めた。
古代、この都市はサムニウムの主要都市のひとつでマレウェントゥム（Maleventum）と呼ばれ、カプア（古代のカプアは現在のサンタ・マリーア・カープア・ヴェーテレの場所にあった）の東約50kmに位置する、Calor川（現代のカローレ川）河畔、アッピア街道沿いの都市であった。この都市がどの部族に属する都市であったかについては食い違う記述がある。プリニウスは明確にヒルピニ族の都市であると記しているが、リウィウスはヒルピニ族とサムニウム人をはっきり区別した上で（ヒルピニ族はサムニウム人の一部とされることがある）サムニウム人に属するものであろうとしている。プトレマイオスもリウィウスと同じ見方である。古代の著述家たちが非常に古い都市としてこの都市を表現することは一致しており、ソリヌス (Gaius Julius Solinus) とビザンティウムのステファヌス (Stephanus of Byzantium) は都市の設立者をディオメーデースに帰している。この伝説は住民たちによって受け入れられていたもので、プロコピオスが著述した当時（6世紀）の住民たちは、彼らがディオメーデースの子孫であることの証拠として、カリュドーンの猪の牙だというものを示したという。フェストゥス (Sextus Pompeius Festus)  (s. v. Ausoniam) はそれと異なり、オデュッセウスとキルケーの息子であるアウソン (Auson) によって設立されたとしており、これはサムニウム人によって征服される以前はアウソニ人の都市であったという伝承を示しているという。ともあれ、歴史においてはサムニウム人の都市としてあらわれている。すでに強力な都市であったことは確かなようであり、古代ローマ人は紀元前4世紀半ばから3度にわたって繰り返されたサムニウム人との戦争（サムニウム戦争）でも最初の二度は攻撃に踏み切ってはいない。最初に現れるのは第三次サムニウム戦争（紀元前298年 - 紀元前290年）においてであって、正確な時期は不明であるが、ローマ人の手に落ちた。