井上馨

井上 馨（いのうえ かおる、1836年1月16日〈天保6年11月28日 〉- 1915年〈大正4年〉9月1日）は、日本の政治家、財政家、実業家。位階勲等爵位は従一位大勲位侯爵。

太政官制時代に民部省や大蔵省を実質的に支え、工部卿、外務卿、参議などを務めた。内閣制度発足後は外務大臣、農商務大臣、内務大臣、大蔵大臣など要職を歴任。軍務系の大臣以外はほとんど全ての大臣を務めている。内閣総理大臣も代理で行っていた期間がある。その後も最古参の元老の一人として国政に携わり、政界と財界の癒着を防ぐ調停者として君臨しながら、その上で元勲として様々な面から国家を支えた。

本姓は源氏。清和天皇の第六皇子貞純親王を祖とする清和源氏であり、河内源氏の始祖である源頼信の系譜である。頼信の孫である源義家は武神と称され、源頼朝や足利尊氏の祖先に当たる。土着した土地名から井上氏を名乗るようになった。安芸国人毛利氏には婚姻関係を持ったことにより臣事するようになった。

幼名は勇吉、通称は初め友次郎だったが、志道慎平（能美洞庵の異母弟）の養子となった際に文之輔と改め、後に長州藩主・毛利敬親から拝受した聞多（ぶんた）と改名した。諱は惟精（これきよ）。雅号は世外（せがい）。

 生涯 

 生い立ちから江戸下向まで 
長州藩・井上光亨（五郎三郎、大組・100石）と房子（井上光茂の娘）の次男として、周防国吉敷郡湯田村字高田（現・山口市湯田温泉の井上公園）に生まれる。

清和源氏に端を発する井上家は、天皇家と代々の幕府に貢献しており、毛利氏が安芸国に勢力を持つ時代以前から権勢が強大であり、主家となる毛利家を凌ぐ影響力を持つ家系であった。

文武を志したのは12，3歳の頃からであった。山口の学者２人に文学の修養を受けただけでなく、武芸においては弓術を山縣十蔵に、槍術を小幡源右衛門に学んだだけでなく、剣術や馬術も学んだ。

加えて井上家では男女を問わず農作にも勤しんでいた。小作人が田地の小作料の減量を求めるような際でも、それを叱責することはなく代わりにその田地を受け取り、父の井上光亨をはじめとして、耕作を行っていた。そうした『士分』というものにとらわれぬ家だったので、井上は幼少の頃から米の耕作から、味噌・醤油・酒の製造にも通じ、割烹・漬物の作り方にまで精通していた。山口での修養を終えた頃に、家の方針で萩城下へ兄の井上光遠（五郎三郎）と共に家を借り、ふたりで自炊しながら藩校明倫館に通うこととなった。

嘉永4年（1851年）に兄とともに藩校明倫館に入学。なお、吉田松陰が主催する松下村塾には入塾していない。安政2年（1855年）に長州藩士志道氏（大組・250石）の養嗣子となり、一時期は志道聞多（しじ ぶんた）とも名乗っていた。両家とも毛利元就以前から毛利氏に仕えた名門の流れをくんでおり、身分の低い出身が多い幕末の志士の中では、最上級ともいえる家格の武家出身者であった。

ちなみに明倫館の再興はペリー来航の２年前であった。黒船の来航を受け、江戸より長州に帰国した藩主毛利敬親は益々の文武の振興を行うこととした。また身辺の侍衛には最も精鋭と自身で考えた者を置くことにし、その考えにより藩主敬親の命により井上は御前警備の任につくことになった。以降、井上は親衛隊士として、藩主の出府毎に従事するのが常となった。同年10月、藩主毛利敬親の江戸参勤に従い下向することになった。

江戸の長州藩校有備館は、江戸においても広く知られていたが、井上はそこでもさまざまな学問や武芸を修養している。そのうち、井上は他藩士と同様に撃剣修行として斎藤弥九郎の塾に通学することを許されるほどの腕前となっている。斎藤弥九郎は神道無念流を教える練兵館という塾を開いており、この時期では塾頭・師範代に桂小五郎（のちの木戸孝允）がいることが有名である。また文久元年には江戸へ遊学に来ていた、同じ長州藩出身の高杉晋作も練兵館の稽古に出ている。

この頃から井上は海外の技術について学ぶ必要性を感じ、安政５年には蘭学と砲術を学ぶために、藩から正式に許可を貰っている。この当時まだ英語は主流ではなく、代わりに蘭学を岩屋玄蔵に就くことで、砲術は江川英龍に入塾することで学んだ。江川英龍は桂がペリー来航後すぐに、斎藤を通じて兵学・砲術を学びに行った相手である。桂はペリーの２度目の来航の際に江川の付き人として実地見学にも行っていた。斎藤と江川という共通の師を持っていることと、安政６年に桂が井上の通う有備館の御用掛に任じられていることから、少なくともこの時期までには井上と桂は深い交流を持っていたものと考えられる。

また安政５年には、長州の上屋敷で蘭学書の読会が開かれ、そこで村田蔵六（のちの大村益次郎）が兵学書の講義を行っている。これが契機となり、村田の才覚を見込んだ桂は長州藩士として村田を迎えることに尽力した。この事は岩屋が肥前に帰国してしまうこととなり、蘭学を学ぶことが出来なくなってしまっていた井上にとって願ってもないことであった。井上は何としてでも蘭学を学び続けたいという意志を貫き、密かに藩主敬親に申請を続けており、そのため、万延元年に正式に長州藩士となった村田の存在は大きかった。

万延元年（1860年）、桜田門外の変が起こり国内に緊張が走った折には、各藩藩主は登城往来においてさらに警戒を高めたが、敬親も同様であった。そこで敬親は直に井上を御手廻組の小姓に引き上げ、通称の聞多を与え、藩主の周辺の警戒を厳戒態勢にするための一員として信任した。さらに国元へ戻る敬親に追従した井上は、鋭意進められることとなった藩政改革の中で、兵制に重きを置くこととし、西洋の銃陣を練習に用い、自身もその操練に日夜励んでいた。その後、文久元年５月に教練用掛から手練れと言えるまでになった者の面々を、藩政に注進しており、井上もその選に入ることとなった。

同年７月には敬親の養嗣子毛利定広（のちの元徳）の小姓役に転じることとなり、再び江戸入りを果たしている。当時は尊王攘夷の論が盛んであったが、井上の攘夷論は趣を異にしていた。井上は海軍興隆の意見を強く持ち、攘夷の実行には海軍力が不可欠とし、精々海外の艦隊を波打ち際で留める程度しかできない現状では、真の攘夷とはならない。よって、海軍を興すことこそが国防の第一であるとし、その研究をはじめている。これがのちの英国留学にも繋がった。

 長州藩士時代 

江戸遊学中の文久2年（1862年）8月、藩の命令で横浜のジャーディン・マセソン商会から西洋船壬戌丸を購入したが、次第に勃興した尊王攘夷運動に共鳴。同年11月に攘夷計画がもれて定広の命令で数日間謹慎したにもかかわらず、御楯組の一員として高杉晋作や久坂玄瑞・伊藤らとともに12月のイギリス公使館焼討ちに参加するなどの過激な行動を実践する。

翌文久3年（1863年）、執政・周布政之助を通じて洋行を藩に嘆願、伊藤博文・山尾庸三・井上勝・遠藤謹助とともに長州五傑の1人としてイギリスへ密航し、ロンドン大学ユニバーシティ・カレッジ・ロンドンに学ぶ。留学中に国力の違いを目の当たりにして開国論に転じ、翌元治元年（1864年）の下関戦争では急遽帰国して、高杉と共に和平交渉に尽力した。

第一次長州征伐では武備恭順を主張したために9月25日に俗論党（椋梨藤太を参照）に襲われ（袖解橋の変）、瀕死の重傷を負った。ただ、芸妓の中西君尾からもらった鏡を懐にしまっていたため、急所を守ることができ、美濃の浪人で適塾出身の医師の所郁太郎の約50針におよぶ縫合手術を受けて一命を取り留めた。このとき、あまりの重傷に聞多は兄・光遠に介錯を頼んだが、母親が血だらけの聞多をかき抱き兄に対して介錯を思いとどまらせた。このエピソードはのちに第五期国定国語教科書に「母の力」と題して紹介されている。

このときの様子を、『世外井上公傳』は、以下のように記している（182頁）。

井上の体調は徐々に回復したが、俗論党の命令で謹慎処分とされ身動きが取れなかった。しかし、高杉晋作らと協調して12月に長府功山寺で決起（功山寺挙兵）、再び藩論を開国攘夷に統一した。

慶応元年（1865年）4月、長州藩の支藩長府藩の領土だった下関を外国に向けて開港しようと高杉・伊藤と結託、領地交換で長州藩領にしようと図ったことが攘夷浪士に非難され、身の危険を感じ当時天領であった別府に逃れ、若松屋旅館の離れの2階に身分を隠して潜伏、別府温泉の古湯楠温泉でしばらく療養した。その後、桂小五郎が下関に到着し、強硬な攘夷論者であった野々村勘九郎と話をつけ、退かせるに至った。それにより５月に井上が、６月に高杉が長州に帰藩することがかなった。下関では、高杉、伊藤とともに幾度も桂と会合し、その不在中における藩内の事情を事細かに述べ、終いに外国の形勢から日本の将来の国家治世まで論及した。こうして長州藩が幕府の権力を打破して王政を回復し、全国の統一を図っていく策動が下関の会合で決定する。目的を達成するには防長2州（長州藩）の孤立した力では成し遂げることができず、識者の間では、当時最も勢力のある薩長の2雄藩が連合しようとする機運が醸成されるのは自然な流れでもあった。しかし、この2藩の間には長い間軋轢があり、困難な事情を排して目的に到達するには紆余曲折と多くの人士の苦心努力が必要となった。薩長の連合策は主に坂本龍馬と中岡慎太郎らによって企てられ、彼ら2人は小松帯刀、西郷隆盛らに薩長同盟の策を説いた。その後、小松と西郷はこれに賛同し、坂本らに進んで両藩の仲介を執るよう望むこととなった。坂本は、三条実美らの5廷臣を介して長州藩を勧誘しようとし、5月上旬に大宰府に赴き、5廷臣の謁見し説いた。その時、長州藩の小田村素太郎は藩命により時田少輔とともに5延臣を聘問するため大宰府にいたので、坂本は2人と面会し意図を伝えた。小田村らが下関に帰ると先ず桂小五郎に坂本の意見を告げ、桂はこれに個人的に賛同するところがあった。そこで桂は井上と高杉、伊藤に話をし、井上も「将来の大目的を達成するため、他に強援を求めなくてならず、薩摩が長州と提携する意志があれば実に好機会である。また、幕府の再征軍と抗戦するには軍艦、武器等を外国から購入する必要があり、長州がいま購入することができない境遇であれば、薩摩と連合すれば成せるため、坂本の策を容認し、彼に仲介の任にあたらせるべき。」と説いた。こうして、桂は井上らの賛同を得て決心し、その意見を藩政府に進言した。同年閏5月朔日に、坂本は筑前から下関に入り、桂との面会を求めると、山口に居た桂も4日に山口を発って下関へ赴き、会見を行うが、桂も坂本の意見を承認するに至った。
その後、桂は、井上、高杉、村田蔵六（大村益次郎）、山縣らともに、坂本・中岡の2人と会合して、薩長同盟のことを商議した。井上は、薩摩の名義を借りて武器を購入することを要請した。但し、小銃購入については、長州政府が既に長崎に人を派遣したとのことで、その成否をしばらく待つが、軍艦の購入については薩摩に依頼するのが安全の策である」と説いた。桂ら一同はこれに賛同した。そこで、密かに坂本と中岡に託して薩摩の承諾を求め、2人はこれを了承して京都へ赴いた。当時、薩長連合の事は長州政府内の少数の人士を除くほか、概ね反対の気勢があり、桂は敢えて公言せず、井上を含む2、3の士と密かに計画したに過ぎなかった。しかし、蒸気船の購入については、奇兵隊軍監の山縣有朋に話して同意を得ていた。また、小銃購入について、長州政府から長崎に派遣していた青木群平は、その後幕府の妨害にあって果たすことができなかったことから、高杉と井上で議論し、これも蒸気船購入と同じく薩摩藩の名を借りて購入することに決め、井上と伊藤で進めることとなった。
井上と伊藤は旧暦7月16日に下関を発ち、翌日大宰府に着くと、18日に三条ら5廷臣に謁見して進言するとともに、桂と山田宇衛門らに、兵器汽船購入に関しての前議が変動しないように書簡を送って切言した。翌19日に三条卿の随員楠本文吉（土佐藩の浪士、谷晋）を伴い、同地を発して長崎に向かった、その時、井上聞多は山田新助、伊藤俊輔は吉村荘蔵と変名して薩摩藩士を名乗った。井上らが薩摩藩士を名乗ることは事前に大宰府警衛の薩摩藩士に承諾を得たものであった。
しかし、長州藩政府は井上と伊藤の動きに賛成せず、桂と高杉はともに藩に抗議した。また、藩の海軍局でも汽船購入に横槍を入れて、質問書を出したことから藩政府は答弁に苦しみ、本件は桂らが下関で専断の計らいで行ったことであると曖昧に答え、同時に海軍局員を長崎に派遣して、井上ら2人の運動を中止しようと企てた。
21日には、井上、伊藤は長崎に入り、先ず楠本文吉の紹介で海援隊士の千屋虎之助、多賀松太郎と面会し、来意を述べて斡旋を依頼した。千屋と多賀松は同志の上杉栄次郎（後の海援隊士、近藤長次郎）、新宮馬之助らと計画を練り、長州藩の井上と伊藤の2人を薩摩藩邸内に潜匿させ、その後銃と戦艦の購入手続きを定めるのが良いとのことで、直ちに小松帯刀を訪ねて、長州の2人の来崎の理由を告げ、その庇護を要請した。小松はこれに快諾し、井上と伊藤を迎えて藩邸内に潜匿した。井上は長州藩の事情と、将来の開国勤王の方針を説き、軍艦購入のことを依頼するが、小松が快諾したことから、井上と伊藤は大いに喜び、多賀松の案内で夜中に密かに、英国人商人のトーマス・ブレーク・グラバーと会見し、薩摩藩の名で小銃の購入契約を行った。この時、小松帯刀も薩摩藩が新たに購入した汽船（後の海門丸）に乗船し帰ろうとしていた。そこで上杉栄次郎らは、その際井上ら2人のうち1人を小松の同伴させ薩長両藩の志を合わせて従来の敵対した感情を融和しようと、小松に会って話したところ、小松も上杉の意見に賛成した。こうして井上は鹿児島へ赴くこととなり、伊藤は長崎に留まった。この返礼として9月8日、毛利敬親父子は島津久光父子に宛てて親書を送り、両藩は実質的に和解した。

翌慶応2年（1866年）1月に坂本龍馬の仲介で京都の小松帯刀邸において薩長同盟が成立、同年6月から8月までの第二次長州征伐で芸州口で戦い江戸幕府軍に勝利した。9月2日、広沢真臣とともに幕府の代表勝海舟と休戦協定を結んだ。

 維新参政時代 
慶応3年（1867年）の王政復古後は、新政府から参与兼外国事務掛に任じられ九州鎮撫総督澤宣嘉の参謀となり、長崎へ赴任。浦上四番崩れに関わったあと、翌明治元年（1868年）6月に長崎府判事に就任した。それだけでなく長崎製鉄所御用掛となったのは、製鉄事業の発達が今後の国家においてますます重要になってくることを痛感していたためである。そもそもは徳川幕府が創設した製鉄所であったが、経営は低迷し、規模は小さく、年に三万両の損失を出す形になっていたために、一時期幕府としても廃却を検討していたほどである。このような形であった製鉄所の経営を井上は一手に引き継いだ。英国式元込銃の製作からはじめ、製造に必要な機具を全て長崎製鉄所内で行い、純国産の鉄砲製作に成功した。

井上が純国産の鉄砲製作に向かったのは、まず国防を考えたためである。海外から性能の良い最新式の鉄砲を輸入することは困難になり、西洋の使い古した旧式銃しか手に入らないことを見越していた井上は、毎日製鉄所へ通い、諸吏員へ国防上どうしても製鉄技術の向上と国内で最新式の銃を作ることが肝要であることを説いて回った。機器や艦船を買うにしても貿易上不利であるだけでなく、国内の技術力の向上という根本的に強化していかなければならないところが置き去りにされる。だからこそ日本国内での製鉄、機械の製造、銃を作る技術を高めておくのが何よりも必要なことであり、そのために一致協力して製鉄所を隆起していこうと訴え、自らが先頭に立って勤労を続けた。そうした井上の地道な努力と奮発した長崎製鉄所の成果として純国産の鉄砲が製造できたことを、井上は書簡に纏め木戸に書き送っている。その書簡の内で、完成した銃を太政官に献上することと、こうした製鉄産業の振興について新聞紙に載せ、全国的に意識の刷新を図っていくための周旋をして欲しいとある。新聞の影響力を鑑み国民に広く文物を広めようという井上の考えは、明治４年より自らの出資で『新聞雑誌』の刊行を始めた木戸と通じるものがあった。

また井上は製鉄所で上がった利益を勤労に応じて褒賞とする形をとることで、いまだ身分制による報酬意識の強かった人々の意識を公正なものへ変えていき、官営の製鉄所に勤める者は公人としての心掛けを持ち、横柄な態度をとるようなことをしてはならないと説いている。特に武士階級の者へは上下の意識改革のため、廃刀令のしかれる前の時期に帯刀の廃止も検討しており、井上自身が元々上級武家出身者でありながら、時勢を考え身分に縛られない先見の明を持っていたことが分かる。当然そうした井上のやり方に不平を抱く者は少なくなかったが、井上はそれに頓着することなく、吏員を督励し、所信をまげはしなかった。そのうちに井上が出勤するとしないとでは、直に事業の進歩に大きな影響を及ぼし、全く振るわなかった製鉄所も井上の努力の甲斐あって、徐々に機能を発揮して隆盛へと向かっていた。

井上は長崎浜町に鉄橋を架設する計画も立てていた。場所柄として橋を架ける必要性は江戸の頃からあり、何度か木造の橋が建ったが水害により壊れてしまっていた。そこで鉄橋架設が堅牢かつ永久的で、また経済的であると判断した井上は、自ら監督となり製鉄所の頭取役を工事主任として架設工事に着手した。鉄橋に使う材料も全て長崎製鉄所で製造したものを用い、翌明治２年に国内初となる鉄橋を完成させるに至った。

明治2年6月には政府の意向で大阪へ赴任、7月に造幣局知事へ異動となり（8月に造幣頭と改名）、明治2年から3年（1869年 - 1870年）にかけて発生した長州の奇兵隊脱隊騒動を鎮圧した。この間、明治2年11月に死去した兄の家督を継承、甥で兄の次男勝之助を養子に引き取り、明治3年8月に井上家と縁の深い新田義貞の末裔である新田俊純の娘・武子と結婚している。

 留守政府時代 

明治維新後は木戸孝允の要請で大蔵省に入り、岩倉具視や木戸の信任のもと主に財政に力を入れた。

明治4年（1871年）7月に廃藩置県の秘密会議に出席し、同月に副大臣相当職の大蔵大輔に昇進。大蔵卿・大久保利通が木戸や伊藤らと岩倉使節団に加わり外遊中は留守政府を預かり、事実上大蔵省の長官として「今清盛」と呼ばれるほどの権勢をふるう。

しかし大蔵省は民部省と合併してできた巨大省庁で、財政だけでなく地方官僚を通して地方行政にも介入できたため（元幕臣中野梧一の山口県参事登用など）、予算問題で改革にかかる多額の予算を要求する各省と衝突しただけでなく、学制頒布を掲げる文部卿・大木喬任や地方の裁判所設置と司法権の独立を目指す司法卿・江藤新平との対立も発生した。また、行政府の右院は各省の長官が構成員であり、前述の関係上対立・機能不全は避けられず、立法府の左院と最高機関である正院も調整力が疑問視されていた。

こうした事態を憂いた井上は大久保の洋行に反対だったが、西郷隆盛が大久保の代理となることで納得した。しかし、秩禄処分による武士への補填として吉田清成に命じたアメリカからの外債募集はうまくいかず、明治4年9月に大久保とともに建議した田畑永代売買禁止令・地租改正もまだ実現できず、財政は窮乏していた。

緊縮財政の方針と予算制度確立を図ったが、文部省が学制頒布、司法省が司法改革などで高い定額を要求すると拒絶して予算を削ったことが江藤らの怒りを買い、明治6年（1873年）、江藤らに予算問題や尾去沢銅山事件を追及されて5月に辞職した。そのときに渋沢栄一と連名で建議書を提出し、政府の財政感覚の乏しさを指摘した。その建議書は木戸の出資により刊行が開始された新聞雑誌に掲載され、他にも日要新聞、日新真事誌、外字新聞にも掲載された。これは国家予算の明朗化の第一歩となった。その後、9月に使節団が帰国、征韓論をめぐる政争や10月の明治六年政変で西郷、江藤、板垣退助らが下野、大蔵省の権限分譲案として内務省が創設される。また、翌明治7年（1874年）に江藤が佐賀の乱を起こして敗死するなど変遷があったが、すでに下野していた井上にはそれらに関わりがなかった。

 政界復帰と木戸の後継者として 
政界から引いたあと、一時は三井組を背景に先収会社（三井物産の前身）を設立するなどして実業界にあったが、明治7年に台湾出兵問題で大久保と対立を激しくした木戸が政府から下野するという事態が起きた。木戸は政界復帰をする気はなく山口に帰県しており、下関で１１月に伊藤からも帰京の説得をされたが断っている。しかし当時の政府は木戸不在のままで立ちいくような情勢ではないことも理解していた木戸は、相談相手に年来信頼を厚くしている井上を呼び、帰京猶予の願い出を出して京都・大坂方面へ療養という理由で井上と行動を共にすることにした。井上は小室信夫や古沢滋から板垣退助が大阪へ行くことを聞かされ、木戸と板垣両者の会談を持ちかけられている。そこで木戸の立憲制論を知っていた井上は、木戸の政府復帰と議院開設を条件に板垣らと連携していく方向をとることにした。

井上は木戸と綿密な連絡を取り、板垣の説得に成功すると、伊藤に説得された大久保との間を周旋し三者の会見にこぎつけ、明治8年（1875年）の大阪会議を実現させた。木戸は自身の政界復帰に合わせて井上の処遇に対する諸事務を処理し、井上の財界への影響力を残したまま、共に政界へと戻っている。同年に発生した江華島事件の処理として、翌明治9年（1876年）に正使の黒田清隆とともに副使として渡海、朝鮮の交渉にあたり2月に日朝修好条規を締結した。6月、欧米経済を学ぶ目的で妻武子と養女末子、日下義雄らとともにアメリカへ渡り、イギリス・ドイツ・フランスなどを外遊。中上川彦次郎、青木周蔵などと交流を結んだが、旅行中に木戸の死を知る。井上が病がちであった木戸をフランスの博覧会に呼び、外遊することで少しでも心身を快調へ向かわせたいと願い、知人を通して政府筋や木戸本人へ何度も書状を送っていた折のことであった。

長州の領袖であった木戸孝允が病没してすぐに、長州藩の出身者たちは協議を重ねた。彼らの話し合いの結果、木戸の後継者は井上馨をおいて他にはなしと意見が一致し、その事を綴った書状を井上へ送っている。井上はそれに対する返書にて同郷同士の衝突を避け、協力して国家のために尽力していくことがまず必要であることを訴え、その上で自身も木戸の遺志を継ぎ、地方分権を理念として、国力を国民と共に進歩させていくと書き添えた。

西南戦争の勃発で政情不安になっていることは日本国内の知人から書状にて伝えられている。政府は西南戦争にて一応の終結をみた各地の内乱をおさめることはできたが、その為に莫大な支出と財政の困難をさらに抱えることになった。三条・岩倉をはじめとした政府首脳人は、財政と国政に秀でた手腕を持つ井上の意見や建言を直に反映していけるように井上の帰国を切望する書簡を連名で書き送っている。

それらを受け国内情勢の対処をすべく井上が帰国のため出発する直前に、大久保の暗殺の報が届いた。井上は急ぎ、明治11年（1878年）6月にイギリスを発ち、7月に帰国した。

 工部卿就任事情 

最も敬慕していた先輩である木戸孝允が西南戦争の最中に病没し、西郷隆盛もまた城山の露と消えた後の国事多難の報を井上は留学先で随時受け取っており、帰朝後には一層国務に身を投じていきたいと伊藤へその志を伝える書簡を送っている。伊藤もそれを了承し、大久保・大隈らにはかって両者から賛意を得たことを、井上への返書で書き綴っている。ただし井上は伊藤の軽挙を嫌っており、伊藤に対しては書簡でも勝手な行動や建白を慎むようにと釘を刺していた。そのため、井上の抱持していた意見や心情について、伊藤はほとんど知らされておらず、代わりに帰国後、太政大臣の三条らが直に意見を聞こうとその帰朝を心待ちにしていた。

井上の帰国は紀尾井坂の変の後であり、凶変当時、大久保利通の後継者となって宰領することが出来る人物が居なかった。また民間では征韓論以来の反政府者及び自由民権論者などが民間に動揺を与え続け、世情が荒れていた。民心を支える為の政界安定が求められる中、井上の帰国と廟堂入りは急務とされていた。

木戸・大久保亡き後の政府は井上の卓識に期待し、三条実美・岩倉具視両名も帰朝を待っていたところ、帰国後の井上の参議就任について異議を唱える者が主に宮中関係者から出てきた。吉井友実・土方久元・佐々木高行・元田永孚たちである。一同協議し井上のことを「不人望家」であるとして、井上が政府要職に就くことを阻むと決め、三条・岩倉両大臣に上申したのみならず、上奏する手続きすら踏まずに明治天皇に意見した。しかし彼らが理由とした「不人望家」というのも国政に参与する井上の才能の適不敵によるものではなく、感情上から出たものであり、それを理由に井上排斥運動を行ったのであった。実際に岩倉から井上の参議就任は大久保在世中から決まっていたことであると内話をされても、佐々木らはその言葉を疑い「大久保は在世中から井上の登用を拒むことが多く、佐々木自身も大久保から井上を忌み嫌う話をよく聞いた。そのような者を採用することはあってはならない」と佐々木高行が自身の日記に書き記している。このように彼ら侍補等は執拗に井上の登用を反対したが、政府閣員のほとんどは井上の国政参与を期待していた。

しかし明治天皇は井上が閣僚に入ることに対し勅許を出そうとはせず、太政大臣の三条にも裁可を出そうとしなかった。そこで岩倉が閣員の多くの希望が井上の入閣であることを改めて上奏することにした。明治11年（1878年）7月に次のような内容で両大臣から閣員一同の意見として、明治天皇への上奏文を送っている。

「維新の始めより大蔵大輔として廃藩置県においても理財会計のことにおいて尽力し、加えて元老院の職務だけでなく、朝鮮との講和の成績をあげるなど、従来の功労は少なからず、人物においては才識卓絶、必ず将来御用に立つ者であり、世論で紛々あれども、完全無欠の人材を得ること難しきことなれば、非常の時に当たりこれを得ず事こそ止めねばならぬことであると、内閣閣員一同の意見につき、御宸断叡慮の所在に従い取り計らうべく申し上げ候」

この上奏によってようやく裁可は降りたが、井上馨こそ木戸孝允の後継者と協議にて決めた多数の長州出身者や、三条・岩倉両大臣をはじめとした井上の閣僚入りに期待していた閣員たちの予測は、突然崩れることとなる。

当時、大久保が独裁と呼ばれるものを振るえるほどの権力を集中させていた、文字通り内治の要であり内政一般に多大な影響力を持つ内務省のトップである内務卿になるべく、その頃工部卿であった伊藤博文は前任者であった大久保利通の遺言があると急遽話を持ち出して、強引に自らをその職に転じたのである。木戸を失った痛手を抱えながらも、帰国後は自身に期待を寄せてくれた皆に応えたく思い、さらに国務に身を粉にする所存だと伊藤へ向けて井上は海外から書簡を送っており、伊藤もそれを了解して、その時はまだ存命であった大久保らに話をつけると返書を送っていた。加えて伊藤は書簡にて、三条・岩倉という井上を内政の中心人物として政情を立て直すことを待望している政府首脳陣とも話がつき、佐々木らの反対派を押しのける見通しが立ったので帰朝して欲しいとも促している。しかし明治天皇から裁可が下り、井上が閣僚としていざ閣内に入ることとなったきわになって伊藤は帰国手前の井上との約束を翻し、天皇からの裁可も周囲からも了解も得ずに伊藤は内務卿の席を己のものとした。伊藤の理由としては井上の帰朝が遅れていることであった。

数日遅れて帰朝した井上が拝命することとなったのは政府閣員の大多数から希求されていた参議兼内務卿ではなく、参議兼工部卿となった。だが井上は伊藤が放置していた工部省管轄の諸事業こそが、これからの日本の工業や産業の発展において必要不可欠であることを理解しており、工部省が衰退していくことは国家の弱体化に繋がると憂いて、自らその論を周囲に説き、あえて工部卿になることを決意した。実際に大久保独裁政権時から内務省は内務卿である大久保の意向を反映した政策のみが行われる部署であり、さらに伊藤が内務卿に就任すると言って譲らなかったので、大久保が成していたような国民生活をかんがみたものではない政策の独走が伊藤をトップとする形で継続されることは目に見えていた。それに対抗するために井上は現場への影響力が強く、実地での検分を直接行い、実務的な形で政策を反映できる工部卿になることで、国を安定させ、国民の生活を豊かにする方向を選んだのである。井上のその姿勢に共感する内務省をはじめとした各省の官吏たちは、井上の率いるようになった工部省へと転属する者が多く、工部省は国民福利のための実質省庁として、井上を長とするようになってはじめて機能し始めた。

 工部卿時代の功績と外交への着手 
工部省は鉱山・製鉄・鉄道・電信等の所轄業務を主とした国家発展にとって主要な省であったが、井上が就任した明治11年（1878年）7月当時、前任者である伊藤の工部省への無理解とそれによる無策により諸事業の規模は小さく未発達のままであった。井上が工部卿についていた期間は約１年と短いが、その間に為したことは多岐に渡る。その一部としては、財政・交通・工業に見識の高かった井上は兵庫製鉄所・長崎造船所・深川製作所・赤羽製作所などの経営や改良に力を尽くし、さらに明治11年に入って一般の需要が大いに増加した郵便や電信の需要に対応するため、電信線の追加延長を行い、郵便為替取扱所の増設をし、公衆の生活の向上を図ったことがあげられる。さらに石川島造船所の視察と式典に赴いた際は、機械場や鉱物場をくまなく検分し、新築造された長安丸にも乗船した上で子細な検分を行っている。こうした工部卿の詳細な視察というのは初めてのことであって、石川島造船所においては驚きを隠せないことであった。また長崎赴任時代に精力を傾けた製鉄業が政府においても認められ、長崎に造船所を建設するに至った。落成式は盛観で地方の外国領事らも陪席したほどである。

その帰途で木戸の三周忌法会に参加するため京都西本願寺に立ち寄った井上は、前年に超然という法名を同寺から受けている。

その翌月の6月以降は外国貴賓の来朝接遇に忙殺された。国賓を迎える為の建築物、宿泊施設がいまだ整っていなかった国内事情から、後宮の出火により皇居造営を命じられていた工部省と、海外事情に詳しく英語をはじめとした外国語の堪能な井上に、外国貴賓を招くための建造物の手配をするよう白羽の矢が立った。日本は条約改正に対して念願が強く、岩倉の頼みもあり、工部省の仕事の傍ら外交関係の仕事にも井上は携わっていく。外賓の来朝が相次ぎ、その政務の多くが国際的な問題であり、この当時それをさばける閣員は、岩倉や井上以外に居ないと言ってよかった。それでは将来的に国家問題になると懸念した岩倉は、条約改正を有利に運ぶことも兼ね、外賓待遇礼式を定める必要性を感じ、政府は明治12年（1879年）10月4日に取調委員長に井上を任命した。次長には徳大寺実則宮内卿らが連なっている。

政府の顔として井上が直接外交の衝に当たることが頻繁となったため、政府内では大きく人事異動が行われ、明治12年（1879年）9月に井上は外務卿へ転任することとなった。

その最中、渡海中から研究していた生命保険や火災保険を事業化することを常々考えていた井上は、阿部泰蔵が丁度その折に明治生命保険会社を創立することを考えていると聞き、帰朝する際に携えてきた数々の書籍を組織の参考となるように同会社に渡し、その設立に様々な援助を与えた。阿部は井上の先輩である木戸が存命中から頼みにし、深い交流を結んでいた福沢諭吉の門下であった。

大隈重信は保険業を官設にするという意見であったが、井上は民営によって経営される方が事業として適切であるとの考えであった。保険事業を官営にすると国の規定によって定められた掛け金を支払うことが可能な一定の資産を持つ者しか保障を受けられない形となってしまい、限定的な階級層のみが保険に入ることが出来るという形になってしまう。それでは本来的に保険が必要とされる低所得者は保険そのものに入れないために、保障を受けることが出来ず、万一保険が必要となるような状況下に陥っても、生活を立て直すことが出来ない。それは井上が志した保険という意義自体が失われることであり、一部の者だけが生活の保障を受けるという格差を生むこととなる。

また民間で保険会社が設立されることを推奨することにより、官営が独占する保険事業では起こり得ない、複数の保険会社が民営で設立されていくことが将来的に可能となり、それらの会社が各々の特色を押し出して低額の掛け金で多くの顧客を得ることが出来るように経営を行っていくことを必然的に始める。そうした会社間の顧客獲得のための動きが経済を回していくこととなり、結果的に全ての階層の民間人が生活の保障を低額で得ることが出来るだけでなく、国家そのものも利潤をあげていくこととなる。この時代は所得の格差が広がり続けており、それが国内の大きな問題となっていた。それを憂いていた井上は資産家に搾取される立場にあった低所得者でも安心して生活の保障が受けられる民間での保険事業の拡充を望んだ。そうした考えがあり、明治生命保険会社の設立に援助することにしたのである。

 外交と条約改正に尽力 
明治14年（1881年）に大隈重信と伊藤が国家構想をめぐり対立したときは、伊藤と協力して大隈を政界から追放した（明治十四年の政変）。この後も朝鮮との外交に対処、翌明治15年（1882年）で壬午事変が起こると朝鮮と済物浦条約を締結して戦争を回避、また条約改正の観点から欧化政策を推進して鹿鳴館と帝国ホテル建設に尽力した。同年、海運業独占の三菱財閥系列の郵便汽船三菱会社に対抗して三井など諸企業を結集させ共同運輸会社を設立したが、のちに両者を和睦・合併させ日本郵船を誕生させた。

明治16年（1883年）に鹿鳴館を建設して諸外国と不平等条約改正交渉にあたり、明治17年（1884年）の華族令で伯爵に叙爵された。同年に防長教育会や防長新聞の創設、三井物産相談役のロバート・W・アーウィンを通したハワイの官約移民（明治14年に日本を訪問した国王カラカウアと約束していた）にも尽力している。同年12月の甲申事変で朝鮮宗主国の清が介入すると渡海。翌18年（1885年）1月に朝鮮と漢城条約を締結して危機を脱した（4月に伊藤が清と天津条約を締結）。

明治18年（1885年）、伊藤が内閣総理大臣に就任して第1次伊藤内閣が誕生し、井上は外務卿に代わるポストとして第5代外務大臣(外務大臣の代数は外務卿から数えるため、初代外務大臣ではない)に就任。引き続き条約改正に専念した。

明治20年（1887年）に改正案が広まると、裁判に外国人判事を任用するなどの内容に反対運動が巻き起こり、井上毅・谷干城などの閣僚も反対に回り分裂の危機を招いたため、7月に改正交渉延期を発表、9月に外務大臣を辞任。このほか、山陽鉄道社長に中上川彦次郎を据えて鉄道建設を進めたり、パリやベルリンに劣らぬ首都を建設しようと官庁集中計画を進めたりしていたが、条約改正と同じく辞任にともない頓挫した。その際に井上の秘書として活躍したアレクサンダー・フォン・シーボルトは勲一等、兄アレキサンダーとともに交渉に関わったハインリヒ・フォン・シーボルトには勲三等がのちに与えられた。両名は医師フィリップ・フランツ・フォン・シーボルトの長男と次男である。

 閣僚を歴任 
明治21年（1888年）、伊藤が大日本帝国憲法を作成するため辞任した。黒田清隆が次の首相になると、黒田内閣で農商務大臣に復帰したが、かねてより政府寄りの政党を作るべく企画した自治党計画が翌22年（1889年）2月の黒田の超然内閣発言や周囲の反対で挫折、外務大臣に就任した大隈の条約改正案に不満を抱き、5月末から病気を理由に閣議を欠席して引きこもり、10月に黒田内閣が倒閣に陥ると辞任した。12月、悪酔いした黒田が留守中の自宅に押し入り暴言を吐く事件が発生し、黒田に抗議している。

明治25年（1892年）、第1次松方内閣が行き詰まりをみせると、伊藤は側近の伊東巳代治に「黒幕会議」を開催するよう命じた。6月29日に松方邸内で行われた会議の構成員は伊藤・黒田・山縣有朋と現首相の松方正義であり、井上は山口県に帰郷していたため参加できなかった。この会議では第2次伊藤内閣の成立が事実上決まり、「元勲会議」によって後継首相が決まる先例となった。7月30日に松方が辞表を提出すると、明治天皇は伊藤、山縣、黒田に善後処置を諮り、そして2日後には井上馨に対して後継首相の意向を尋ねた。伊藤の伊皿子邸において、伊藤・山縣・黒田・井上、そして山田顕義と大山巌を加えた会議が行われ、伊藤を後継首相とすることが確認された。これ以降、井上はその死までほとんどすべての内閣総理大臣推薦に関与し、いわゆる元老の一人として扱われた。

8月8日伊藤が内閣を組織すると内務大臣に就任。11月27日に伊藤が交通事故で重傷を負うと、翌26年（1893年）2月6日まで2か月あまり総理臨時代理を務めた。明治27年（1894年）7月に日清戦争が勃発、戦時中の10月15日に内務大臣を辞任し、朝鮮公使に転任。戦時中は陸奥宗光とともに伊藤を支え、翌明治28年（1895年）8月の終戦まで公使を務めた。朝鮮では金弘集内閣を成立させ改革に着手したが、三国干渉によるロシアの朝鮮進出と朝鮮の親露派台頭、ロシアと事を構えたくない日本政府の意向で成果を挙げられないまま帰国した。後任の朝鮮公使三浦梧楼が10月に親露派の閔妃を暗殺する事件を起こし解任されると（乙未事変）、 特派大使に任命され次の公使小村壽太郎の助け役として再渡海、11月に帰国した後は静岡県袖師町（現・静岡市清水区）の別荘・長者荘へ引き籠った。
明治31年（1898年）1月の第3次伊藤内閣成立にともない大蔵大臣となったが、半年で倒閣になったため成果はなかった。また、明治33年（1900年）の第4次伊藤内閣で大蔵大臣再任が検討されたが、渡辺国武が大蔵大臣を望み、伊藤がやむをえず承諾したため話は流れた。

 大命降下、晩年 

明治34年（1901年）、先の内閣である第４次伊藤内閣が総辞職した後、西園寺公望が臨時で首相の任に就いていた。伊藤は続投を固辞したため、井上馨・山縣有朋・西郷従道・松方正義ら四元老が勅命を拝して善後策の協議に入った。組閣に関しては山縣・松方の両人が井上か西郷を推したが、西郷は実兄である西郷隆盛の件があるために、首相になることはしないと固く決めていた。

伊藤においては「敗局を収拾する者は敗局者以外であって、余は善後策に参与する気はない」との書簡を井上に送っており、伊藤自身の議会運営能力のなさによる倒閣の責任を、伊藤自らがとることもせずに、井上をはじめとする四元老に押し付け、その後の組閣に関する元老会議にも出ようとはしなかった。

井上は政界と財界の癒着が生じることがないように常に心を砕いており、財界で大きな影響力を持つ自身を防波堤にすることで、財界人が政界で勝手な動きが出来ないように牽制していた。そのことに加え、井上自身に政敵が多いということも強く認識していたため、自分は首相には向かないとし、代わりに財政面は担当することを、協議に出席している徳大寺実則侍従長や山縣・西郷・松方に提案した。しかし井上を除く三元老の意向は井上の首相就任であり、衆望も井上に注がれる状況となった。義侠心の強い井上はそれらを無視することが出来ず、参内することを決めた。

そこで明治天皇から内閣組織の大命を拝命したが、井上は自身の立場を鑑みた意中を明治天皇に正直に伝え辞退を申し出た。遂に辞することは叶わなかったが、猶予を得ることとなった。その際に西園寺のもとを訪れ、井上は「意中の閣僚を得ることが出来れば、首相の印綬を帯びても差し支え無い」と話している。これはどんな名案に関しても実行する人によって結果が左右されることから、組閣の第一の要は適任者を得ることだと、後に大命拝辞した理由として井上は知人に語った。

そして混沌極まりない当時の政局を背負う、井上が首相となる内閣の組織が始まった。これについては山縣も出来る限りの援助を惜しまぬことを、井上のもとを訪れて約束している。伊藤は井上が内閣首班になることが決まってから山縣と共にようやく井上のもとへ顔を出し、自身も援助を惜しまぬと言っている。そこで井上は山縣を貴族院に、伊藤を衆議院に配置しての組閣に着手することにした。

まず井上は山縣を閣内に入れることが困難だと見抜いていたため、代わりに山縣の後ろ盾が強い桂太郎を陸軍大臣に勧誘した。しかし桂は入閣を断った。

続いて大蔵大臣に渋沢栄一を打診してみたが、渋沢は各所に相談をしたのちに、自分は銀行の経営にて手一杯であると回答した。その答えに関して井上は、「君（渋沢）が引き受けてくれなかったのが幸いだ」と渋沢に対して後年語ったことがある。財界で井上の名を使って影響力を持とうとしていた渋沢が大蔵大臣になれば、確実に政界との癒着を生むと考えていた井上は、渋沢が大蔵大臣職を自ら辞するという形をとることで、政界に食い入ろうとしている他の財界人が身動きできないようにした。

この当時は伊藤博文が作成した憲法や法制度によって、中産階級と言われる資産家が幅を利かせる格差社会が急激に進んでいた。中産階級の資産家や、参政権に関して資産制限をかける選挙を掲げる大隈重信をはじめとした民権家が、国家に関わる案件を論ずる議会に参入していく情勢である。渋沢は伊藤と懇意にすることが多く、教育制度についても資産を持つ者のみが入れる学校や、女性を男性に従わせることが先進的な女子教育であるとして、そのための学校設立や法整備に対して経済的な援助をしていた。

対して井上は、明治初期から教育について精力を注いでいた木戸孝允の衣鉢を継ぎ、井上自身の意見としても教育は男女平等に、貧富の格差なく行われるべきだと主張していた。井上の右腕と自称しながら、井上の意見には反対的で伊藤寄りの行動をする渋沢が入閣を辞退したことは、政財界の癒着を防ごうとする井上には好都合であった。

前島密の推薦で官途に入り、藩閥の後ろ盾がない中で実績を上げ、木戸や山縣から期待を受けていた芳川顕正とは井上も懇意であり、井上は本命として芳川の入閣を考えていた。しかしそれまでに、桂、渋沢の辞退と伊藤の衆議院への協力拒否を受け、井上は自身の組閣に見切りをつけた。井上は西園寺臨時首相と元老に組閣断念についてすぐに伝えた。そのことは貴族院にも広がり、衆望の期待が集まっていた井上の組閣が叶わなかったことが大いに悔やまれた。

井上としては大命を拝し首相になるよりも、渋沢をはじめとする財界が政治との関わり合いを持つことを徹底的に排除することを重んじた。同じ長州派の伊藤博文は憲法や内閣制度を作り、山縣有朋は近代軍事制度を作り上げた。伊藤は立憲政友会という党派を、山縣は官僚集団といった基盤を備えている。

それらに対し井上は明治初年からの外交・財政を一手に引き受け、政府に所属している時は大臣として奔走した。下野した折には民間で日本経済を立て直すために、三井・三菱・住友という三大財閥を衝突させることなくまとめ上げた。さらに小作農からもあぶれ生活が出来ず行き場を失くしていた低所得者に対して、保険事業を作り、井上自ら会社を設立して雇い入れるなど、民間事業にも力を入れていた。

井上はあえて直接に政党や官僚閥とつながりを持たずに、財界と政界のバランスをとっていた。一方で山縣有朋や陸奥宗光、西園寺公望、原敬といった政治・軍事・外交において第一線に立っている要人とのつながりは深く、意見も一致していた。原の場合をはじめとして、井上は有能な人物が居れば抜擢して、官途への紹介をするなど仲介者として政治や軍事、外交面への援助を惜しまなかった。その中で金銭のやり取りは決してせず、あくまで政治・軍事・外交と井上が主に担当している財界が癒着しないようにはからった。これらの無償の行動を通じて、結果的に井上は各方面に基盤を持つに至った。

大命拝辞したあとは後輩の桂太郎を首相に推薦、第1次桂内閣を成立させた。桂政権では日露戦争直前まで戦争反対を唱え、明治36年（1903年）に斬奸状を送られる危険な立場に置かれたが、翌37年（1904年）に日露戦争が勃発すると戦費調達に奔走して国債を集め、足りない分は外債を募集、日本銀行副総裁高橋是清を通してユダヤ人投資家のジェイコブ・シフから外債を獲得した。明治40年（1907年）、侯爵に陞爵。明治41年（1908年）3月に三井物産が建設した福岡県三池港の導水式に出席したときに尿毒症にかかり、9月に重態に陥ったが11月に回復した。

明治44年（1911年）5月10日、維新史料編纂会総裁に任命された。明治45年（大正元年・1912年）の辛亥革命で革命側を三井物産を通して財政援助、大正2年（1913年）に脳溢血に倒れてからは左手に麻痺が残り、外出は車いすでの移動となる。大正3年（1914年）の元老会議では大隈を推薦、第2次大隈内閣を誕生させたが、大正4年（1915年）7月に長者荘で体調が悪化、9月1日に79歳で死去した。葬儀は日比谷公園で行われ、遺体は東京都港区西麻布の長谷寺と山口県山口市の洞春寺に埋葬された。戒名は世外院殿無郷超然大居士。

生前から井上の生涯を記録する動きがあり、三井物産社長の益田孝と井上の養嗣子勝之助が編纂して大正10年（1921年）9月1日、財政面をおもに書いた『世外侯事歴 維新財政談』が上・中・下の3冊で刊行された。昭和2年（1928年）に勝之助の提案で井上の評伝を作ることが決められ、昭和8年（1933年）から翌9年（1934年）にかけて全5巻が刊行された。また、これとは別に伊藤痴遊が明治41年に井上の快気祝いとして評伝『明治元勲 井上侯実伝』を、大正元年に『血気時代の井上侯』を出版している。

 栄典 
位階
 明治2年11月10日 - 従五位
 明治4年12月13日 - 従四位
 1879年（明治12年）12月15日 - 正四位 
 1886年（明治19年）10月19日 - 従二位
 1896年（明治29年）6月20日 - 正二位
 1915年（大正4年）9月1日 - 従一位

勲章等
 1879年（明治12年）2月10日 - 勲一等旭日大綬章
 1884年（明治17年）7月7日 - 伯爵
 1888年（明治21年）7月21日 - 銀製黄綬褒章
 1889年（明治22年）11月25日 - 大日本帝国憲法発布記念章
 1895年（明治28年）10月7日 - 旭日桐花大綬章
 1906年（明治39年）4月1日 - 大勲位菊花大綬章
 1907年（明治40年）9月21日 - 侯爵・貴族院議員章
 1915年（大正4年）9月1日 - 菊花章頸飾

外国勲章等佩用允許
 1884年（明治17年）3月1日 - スペイン王国：カルロス大十字三等勲章
 1885年（明治18年）
 4月6日 - メクレンブルク＝シュヴェリーン大公国：グライフェン勲章グロースクロイツ
 4月14日 - ハワイ王国：カメハメハ第一世勲章グランドクロス
 5月8日 - ロシア帝国：白鷲大綬章
 1886年（明治19年）2月3日 - 波斯国：獅子太陽第一等勲章
 1892年（明治25年）11月10日 - オーストリア＝ハンガリー帝国：鉄冠第一等勲章
 1902年（明治35年）6月21日 - 大韓帝国：李花大綬章

 人物 

 業績 

維新後については、制度を作りながら諸施策を進めていくといった行政の舵取りが必要であったが、明治初期に重職に就いた者の中で理財の才能を持った者は井上がその筆頭に挙げられ、財政の建て直しに大変な努力をしている。一度は官を辞職したが、井上自身の誠意と実行力で維新の元勲として、同藩出身の山縣有朋とともに絶大な存在感を示した。

外務大臣としての従事期間は長く、その間、条約改正に献身的な努力を注いでいた。その成果は次の大隈重信・青木周蔵・陸奥宗光らにいたって現れてきていると考えられる。外交はその国民の代表との長い信頼関係の構築の結果として醸成されてくるものであり、国内での影響力と同じ尺度で評価することは適切ではない。井上は維新政府の財政面から国家運営を見ていたために、諸外国との戦争は極力避けたいと願っていたことがうかがい知れる。

実業界の発展にも力を尽くし、紡績業・鉄道事業などを興して殖産興業に努めた。日本郵船・藤田組、小野田セメント、筑豊御三家、特に三井財閥においては最高顧問になるほど密接な関係をもった。これを快く思わなかった西郷隆盛は、岩倉使節団出発前夜の明治4年11月11日、送別会の席で井上のことを「三井の番頭さん」と皮肉っている（佐々木高行の日記より）。

井上は三井財閥、藤田組などを通して第一国立銀行設立、三井物産創業、三池炭鉱事業の開始、台湾銀行、台湾製糖会社の設立、児島湾干拓事業、洞海湾拡張事業などを手がけ、石炭輸出による外貨獲得、日本の近代化を推し進めた。また、各財閥に家憲を制定して同族間の結束を固めることを強調、藤田家憲は明治9年、三井家憲は明治33年、貝島家憲は明治42年にそれぞれ制定、井上の尽力で3家は日本経済を支える財閥に発展した。

尾去沢銅山事件
江戸末期、財政危機にあった南部藩は御用商人鍵屋村井茂兵衛から多額の借財をなしたが、身分制度からくる当時の慣習から、その証文は藩から商人たる村井に貸し付けた文面に形式上はなっていた。藩所有の尾去沢鉱山は村井から借りた金で運営されていたが、書類上は村井が藩から鉱山を借りて経営している形になっていた。1869年（明治元年）、戊辰戦争により窮迫した南部藩から採掘権は村井に移された。版籍奉還の後、南部藩から村井は改めて銅山の稼方としての指令を受けている。その際に藩からは12万両余の経営費を委託されていた。しかし村井は銅山の経営もはかどらず、藩からの委託金である12万両を各商法に振りまいたが失敗し、その穴埋めに高利貸を使ってさらに借金を増やした上に、外国取引の書類にもかかわっていたので、おびただしい損害を生んだ。そこで盛岡藩から出された『家産傾ケ』の書に村井はやむなく調印をした。諸藩の外債返済の処理を行っていた大蔵省は、1871年（明治4年）にこの証文を元に村井の分の借金である三万千四百両の返済を求めたが、村井は政府の通達に応じず抗議した。やむを得ず政府は村井の家財一切を差し押さえることとした。

その頃、大蔵省出仕の川村選は『岡田平蔵尾去沢鉱山引受願之儀ニ付見込取調伺』と目安書した書類を作成し、諸務課・判理局・丞・輔に提出した。内容は「五万五千三百五十六両を村井から上納すれば一件が落着する」ということと、「村井にはそれだけの財も能力もない」こと、「よって尾去沢鉱山を返上させて、その付属品を全て買い上げ、希望の物を見立てて同山の事業を継承させたい」とあった。加えて「大阪の商人岡田平蔵という者が志望の理由を申し出たので、身元を調べてみたら、鉱業には随分巧者であり、殊に造幣寮の御用も勤め、身代も相応の者であるから、願の通り許可してみてはどうか」とも書かれており、「還納金については年賦にして岡田と村井の打ち合わせの上、秋田県へ納めさせる」とあった。さらに「この目安書が決議されたならば、村井の家財封印を解き、大阪府・岩手県・秋田県へその旨を達して欲しい」との意見があった。その上で「鉱業の主務は工部省なので、そちらへの照会もされたし」とあった。当時大蔵大輔だった井上はその書類を決裁した。井上は同じ大蔵省出仕の渋沢栄一らと連名で、工部省出仕の山尾庸三少輔に一連のことを連絡した。こうして村井から銅山は返上となったが、代わりに差し押さえられていた家財全てが封印を解除され、村井の手に戻った。

井上が行ったのは政府としての正当な業務であり、家財全てを差し押さえられていた村井にとっては救済措置でもあった。それに対して村井は、岡田は銅山を所有しているが、それは自分から取り上げられたもので、何も事業を持たない自分が岡田と共に借金とされた金額を年賦で払うのには納得がいかないと言い出した。具体的な案を提示せずに、借金は何とか返すから銅山を返せと繰り返すだけの村井を、大蔵省は相手にしなかった。そこで村井は、この一件を司法省に訴え出た。

司法卿であった佐賀藩出身の江藤新平がこれを追及したが、結論として井上は村井の所有権騒動に巻き込まれただけであり、井上の身は潔白であった。留守政府時代に信頼する井上に政府の舵取りを任せていた西郷隆盛や、留学から帰国した木戸孝允らが手を尽くし、大警視である川路利良らの調査も加えて真相の究明をはかったが、伊藤博文や大木喬任、渋沢栄一らが江藤とは意見を別にする司法省員と共に不要な動きをしたために、事の本質が明らかになるまでに長い時間を要した。その間には井上の評判を落とそうとして、尾去沢銅山事件自体が民衆の記憶から薄れないうちに、事実が明らかにされていない時期だというにもかかわらず、新聞にでたらめな記事を載せるという意図的な悪意ある画策もあった。

井上は事件の浮上の経緯を知り、冤罪であるのにもかわらず、望まぬ形で連座させられそうになったことを遺憾とし、官吏として政府に残るよりも民間で国を支えることを望んだため、大蔵大輔を辞職した。井上は辞職する際に、上に立つ者の責任として裁判で下された罰金を支払っているが、同じように川村選からの目安書に目を通し、連名で工部省へ取り次いだ渋沢は無罪という判決を下されている。

江藤は井上が何の不正も働いていないことを明らかにした。また司法省の中で井上に反感を抱いている者が複数おり、その者達が軽率な手配をしたことで調査が難航したことを詫びた。ただし井上への忠告として江藤は、大蔵省が行った村井の借金額の査定の中で川村選に過失があり、その過失に気付かぬまま差し押さえに入ったのは不当であることと、村井の嘆願を無視して大蔵省が岡田に鉱山経営を許可したことは、巷で流されている風聞の影響もあり、井上と岡田の間に私交関係があるように勘違いされるので、岡田とは決別した方がよいということを伝えた。その事実を知る江藤が井上の潔白を政府内外に広めようとした最中に、明治六年の政変が起こり、江藤も下野することとなった。

木戸孝允の後継者として周囲に認知されていた井上が下野した状況であること、加えて政敵として対峙することが多い江藤が政府を去ったことで、大久保利通はその後すぐに内務省を設立し、内治の要となる職務を結集したその省のトップである内務卿になった。江藤は佐賀の乱で首謀者として担がれることとなり、自らの責任を問うべく自首したが、大久保による暗黒裁判によって死刑になった。このため井上に対する尾去沢鉱山についての真相は世に周知されず、うやむやになり、事実無根の悪評だけが世に流れた。

江藤を正当な裁判で裁かずに死罪とすることで、大久保は敵対する実力者の数を減らした。続いて大久保の対抗者として政府内で重鎮として居る木戸の足元を崩すには、井上を頼みにすることが大きい木戸から、さらに井上を引き離すことが有効策であった。そのため井上を政界から去らせるだけでなく、民間で財界人として成功し躍進している井上の評価を陥れることで、世情からも追い落とそうとした。尾去沢銅山事件は大蔵省や司法省だけの問題ではなく、政府内での大きな問題となっていた。そこで井上に反感を抱く者達がこの事件を利用し、井上が汚職をしたという嘘をあたかも真実であるかのように政府内外へ広めた。その結果、尾去沢銅山事件において全くの無実である井上は、事実とは正反対の話や真相とはまるで異なる噂を世間で流され、手酷い悪評を被ることとなった。

これを尾去沢銅山事件という。

これ以降も井上は尾去沢銅山事件の関係で、風評被害に遭い続けている。明治30年初版の『評伝井上馨』という渡辺修二郎が著した本においても、「井上等大蔵省在職中尾去沢銅山を其借用人村井茂兵衛より強奪し以て自ら利する所あり」という事実とは全く異なる記載がなされ、井上の評価を貶めた。渡辺は事件の真相を一切知らず、また調査もしないままに、風聞だけを鵜呑みにした自己主観だけの本を評伝として出版した。こうした出版物や新聞記事の発行により、当時から井上の評判は誤ったままに伝えられ、事実無根であるにもかかわらず「井上は汚職をした」という固定概念が生まれるに至った。ちなみに渡辺が出版した『評伝井上馨』という本では、井上存命中に出されたものであるにもかかわらず、写真資料すら誤りだらけであった。井上馨の写真を掲載しているとされているが、明らかに人相や背格好の違う他人の写真が多数載せられている。

政界を離れた井上は、鉱山を手に入れた岡田とともに1873年（明治6年）秋に「東京鉱山会社」を設立、翌年1月には鉱山経営に米の売買・軍需品輸入も加えた貿易会社「岡田組」を益田孝らと設立、岡田の急死（銀座煉瓦街で死体となって発見）により鉱山事業を切り離し、同年3月に益田らと先収会社を設立、これが三井物産へと発展していった。

 逸話 
 仕事上で関わった人物は渋沢栄一、益田孝、藤田伝三郎、貝島太助、杉孫七郎、杉山茂丸ら多数だが、井上という権力者の名前と財力を笠に着ようとする者がほとんどだった。また経済論にしろ教育論にしろ、井上の考えを理解せず、格差社会を激化させる方へと動こうとする者もいた。長寿だったため、大甥である鮎川義介（実姉常子の孫、日産コンツェルン創始者）や鮎川の義弟・久原房之助（藤田の甥、久原財閥の祖）への指導があったと鮎川らは言うが、井上が亡くなった後に政界と財界の癒着を推進したのは渋沢や鮎川らであり、井上が生前に心を砕いていた政財界の癒着の阻止は井上没後に終わりを見せた。
恩義を忘れず情に厚い面があり、旧藩主毛利家一族や高杉晋作の遺族、命の恩人の医師・所郁太郎の子孫に手厚く報いた。明治8年、高杉の愛人・梅処尼が貧困に苦しんでいたところを有志を募り生活費を与え、明治14年から3年かけて寄付金を集め、明治17年に東行庵を建てて梅処尼を住まわせた。また、明治23年から26年にかけて毛利一族の結束を図り家憲を制定、明治25年から毛利邸建築に着工（完成は大正5年）したことなどが挙げられる。また、明治25年と明治34年に右田毛利家が経営する第百十国立銀行が経営危機に陥ると、財政援助を行い破綻を防いだ。第百十銀行はのちにほかの銀行と合併、山口銀行が誕生した。
 一方、突拍子もないことを言い出す傾向、妥協を許さず主張を押し通すところもあった。文久3年のイギリス旅行の途中に停泊した上海で、外国艦隊を目にして攘夷を捨てて開国論に転向した。それを同船していた伊藤に話したが、日本と外国の軍事力の差を伊藤は理解できず、井上の意見を相手にしなかった。下関戦争で攘夷か和睦か方針が定まらない藩を非難したり、外相時代の明治18年と翌19年（1886年）にキリスト教推進、外山正一創立のローマ字会加入および演説、群馬県太田市から桐生市一帯を首都とする上州遷都案を立ち上げたり、明治21年に自治党を発案したりしている。これらは欧化主義と非難されたが、条約改正に取り組む井上としては近代化した日本を列強に見せる狙いがあり、合理的な姿勢、新しいものに対する理解の速さから取得の必要性を感じたための経過であり、辞任後は立憲政治への対応を考え、政府与党の創造および政府と世論の接点を近づけようとした。しかし、あまりにも先取りしすぎるアイディアを周囲の反応を省みず実行へ突き進んだため、外相辞任にともない事業挫折、あるいは理解が追いつかない伊藤らに妨害され断念したことは、井上の先見の明と実行力が抜きんでていたことを示している。
 欧米に負けない国劇の創造を目指した演劇改良運動の後援者であり、自らの私邸を天覧歌舞伎の会場として提供した。また歌舞伎役者の九代目市川團十郎がかつての養家から泣きつかれて背負いこんだ経営不振の河原崎座の借財整理に協力したこともあった。そのほかの演芸家では、落語家の三遊亭圓朝、清元節の清元お葉、義太夫の竹本越後太夫などとも親交があった。
 明治19年2月10日、外務大臣として鹿鳴館での舞踏会に出席中、十数名の暴漢に襲われそうになったが、警護役の得能関四郎が応戦して11名を逮捕して難を逃れた。この事件は得能の剣客としての名声を高めることとなった。
 明治21年、同志社英学校創立者の新島襄が同志社大学設立のため自宅を訪れた際、大隈重信、渋沢栄一、益田孝ら親しい事業家たちに募金を募り3万円近く集めた。
 明治24年、九州の金田炭鉱を訪れた際、柏木勘八郎の引き立てで貝島太助と出会い、正直なその性格を見込んだ井上は不況で経営難に陥っていた彼を助けるため、毛利氏の財産を投資して（井上は家憲制定の件で後見人同然の立場にあった）貝島の窮地を救い、のちに貝島の息子太市と鮎川の妹を娶わせ、その後の貝島財閥の繁栄を導いた。一方、毛利氏の家政は三井物産が担当、資金貸し出しを通して貝島の資産調査・炭鉱への介入を繰り返したため、貝島炭鉱の独立は大正9年（1920年）までかかった。
 明治30年、維新史編纂事業が進まないことに怒り、毛利家の編集担当者だった宍戸璣を更迭、後任に末松謙澄を据えた。末松が長州藩士ではなかったこと、末松の頼みで井上が委員を解雇して他藩出身の人間に入れ替えたことなどがもとになり、明治34年8月4日に宍戸が新聞に不満をぶちまける、編集委員の中原邦平（長州藩士）が末松と衝突するなどトラブル続きだった。紆余曲折の末に明治44年に防長回天史が出版され大正9年に完全刊行、現代に残る幕末維新史の基本史料ができ上がった。
 明治35年（1902年）、莫大な借金を抱えた東本願寺に泣きつかれ、本山の放漫財政が赤字の原因と知ると、対策として末寺からの本山統制を主とした財団法人設立を企図した（東本願寺借財整理）。東本願寺の抵抗によりすぐに成功しなかったが、のちに財団が設立された。
 明治44年11月、中国から製鉄コンビナートの漢冶萍公司総理盛宣懐が訪問した際、三井物産の上海支店長山本条太郎とともに漢冶萍公司の日中共同経営を考え、第2次西園寺内閣の内務大臣原敬にかけ合い資金援助を実現させた。翌明治45年、漢冶萍公司の株主の反発で盛宣懐が解任されたため事業は失敗に終わるが、盛宣懐が井上に送った称賛の言葉を綴った軸が洞春寺に残っている。
 美術品収集に熱心で、招かれた先で気に入った茶碗や掛物を「もらっておく」と言い、半ば強引に奪い取っていたという噂が立ったが、実際は物品の価値が分からない中産階級の者が井上に自前の品をわざと見せて、物品に対して持ち主が相応しくないと井上が判断した時には、持ち主の言い値以上の額を支払って、井上はその品々を買い取っていた。
 ほぼ毎年遺言書を更新していた（そのうちの1枚がテレビ番組『開運!なんでも鑑定団』で取り上げられたことがあり、200万円の値がついている）。
鉄道庁は明治41年、長者荘への病気見舞客のため新橋および神戸発の最急行を興津駅に停車させることにした。

 嗜好 
関直彦 「井上伯の好物は数の子にて、その季節には三度の食膳に必ず供せられ、一と鉢位は難なく平らげらる」
建築の嗜好があり、都内のほか、各地に多数の別邸を普請した。
鳥居坂本邸 - 1880年竣工。1887年には増築された棟で天覧歌舞伎が行われた。その後、久邇宮、赤星弥之助・赤星鉄馬、岩崎小弥太と所有者が変わり、戦後跡地に国際文化会館が建てられた。
内田山本邸 - 鳥居坂近くの麻布宮村町内田山（現・元麻布3丁目、六本木6丁目）に1894年建築。1905年に邸を訪ねたフリーダ・フィッシャー（東洋美術収集家）は屋敷の典雅さに驚き、「なんという静謐さ、なんという気品、なんという簡素さだろう」と感嘆の言葉を残している。1922年に4000坪が売却され、宅地化。
龍土町別邸
興津別邸「長者荘」 - 62歳の1896年に隠居所として建設され、興津の別荘地化のきっかけを作った。この家で没したのち養嫡子の井上勝之助が住んだが、1945年の清水空襲により焼失した。約5万坪の敷地に磯部温泉別邸を移築した本館、鳥居坂から移築した別館のほか、みかん畑や庭園、高さ5m弱の巨大な井上馨像（戦時中に供出）などがあった。跡地は静岡市埋蔵文化財センターなどが建つ。
神奈川県には富岡別邸、横浜野毛別邸、鎌倉稲村ケ崎別邸などがあった。

 評価 
 その義侠心と怒声から「雷親父」とあだ名されていた。井上の右腕と自称していた渋沢栄一は特に井上の怒りを買う言動が目立ち、常に叱責を受けていた。その様子を見て、渋沢が居ればまわりには雷は落ちないということから、彼は「避雷針」とあだ名されていた。

木戸孝允「如何なる場合に在つても飯を食ひ得る者は只井上一人、如何なる社会に投じても相当の地位を保つ者は唯彼一人、真に時潮の人世の奴隷とならず自己の流域自己の乾坤を作り得る英雄の資を具ふる者は彼孤一人」（世外井上公伝）

勝海舟「今の處で一流の人物といつたら、まづ伊藤、井上、山縣だらうよ。おれが長州へ談判に行つた時、井上は顔へ膏薬を貼つて出て来たが、これは反対黨に斬られたのだといふ事だつた。其の膽力に至つては、伊藤などはとても及ばない」

山岡鉄舟「お前さんが勲一等で、おれに勲三等を持って来るのは少し間違ってるじゃないか。（中略）維新のしめくくりは、西郷とおれの二人で当たったのだ。おれから見れば、お前さんなんかふんどしかつぎじゃねえか」この言葉は、山岡が致仕後、勲三等に叙せられたものの、叙勲を拒否した際、勲章を持参して山岡に説得を試みた当時の政府高官、井上に浴びせられた言葉として伝えられている。

大隈重信 「井上は道具立ては喧しくない。また組織的に、こと功を立てるという風でない。氏の特色は出会い頭の働きである。一旦紛糾に処するとたちまち電光石火の働きを示し、機に臨み変に応じて縦横の手腕を振るう。ともかく如何なる難問題も氏が飛び込むと纏まりがつく。氏は臨機応変の才に勇気が備わっている。短気だが飽きっぽくない。井上は功名心には淡白で名などにはあまり頓着せず、あまり表面に現れない。井上氏は伊藤氏よりも年長であり、また藩内での家格も上で、維新前は万事兄貴株で助け合ってきたらしい。元来が友情に厚く侠気に富んだ人であるから、伊藤氏にでも頼まれると、割の悪い役回りにでも甘んじて一生懸命に働いた。井上氏がしばしば世間の悪評を招いた事の中にはそういう点で犠牲になっているような事も多い」

渋沢栄一 
「井上侯は世間によく知られている通り、とても悲観的な傾向のあった御仁で、すべての物事を悲観するとともに、また他人の過失を性急に責めるような気質を帯びていられたものである。なので何事に対してもその及ぼす好影響より先に、まず生じる弊害を考えてこれを指摘し、どんな人に対してもその長所を認めるよりは、まずその欠点を見る方に努められたのである。一般に普通の人ならば、教育が普及して国民に学問があるようになったと聞けば、喜ぶのが順当であろう。ところが井上侯は決してこれを喜ばれず、すぐに教育普及の弊害を観、『教育が普及して国民の知識水準を高めた結果は、高等遊民(定職につかず自由気ままに生きるひと)が多くなって国家に災いを生むに至る恐れがある』と嘆かれ、いかに学者が堂々たる立派な財政論を発表するのを見られても、『あれですぐ金を貸してくれ、と頼みに来るんだから、財政論も何もあったものではない』と、罵倒されたものである。私がいろいろ合本組織の必要性を先に立って唱え、会社の設立などに奔走しているのを見られても、『お前などが、あんな手先みたいになって会社会社と騒ぐものだから、会社がみだりに設立され、そのあげく財界を苦境に陥れて、その結果国家の財政をおかしくするのだ』なぞともうされたもので、財政に関しても常に悲観設を抱かれたのである」
「井上侯は頗る機敏の人で、見識も高く、能く私を諒解して下されたのみならず、又至つて面白い磊落な質で、私と一緒になつて楽む所謂遊び仲間にもなられたので、侯と私とは肝胆相照らす親しい間柄にまで進んだが、明治四年の八月、井上侯の大蔵大輔の下に、私が大蔵大丞であつた頃のことである、大蔵卿の大久保さんが、一日突然に、陸軍省の歳費額を八百万円、海軍省の歳費額を二百五十万円に定めることにしたからとて、当時私と同列の大蔵大丞であつた谷鉄臣、安場保和などを喚び寄せ、その可否を諮問せられた。当日は如何したものか井上侯は其の会議に参与しなかつたのである。」
「井上侯は、孰れかと謂へば元来が感情家であるから、人物を鑑別するに当つても亦感情に駆られ、是非善悪正邪の鑑別が出来ないで、好きだと一度思ひ込んだら、其人に悪るい性質のある事を覚り得ぬまでの盲目になつてしまひさうに思はれるが、決して爾んなことの無かつた方で、人を用ひるには、まづ其人物の是非善悪正邪を識別するに努められ、それから後に始めて用ゆべきを用ひたものである。随て佞人を仁者であると思ひ違へて之を重用する等の事も無かつたものである」
「井上侯とても決して学問の無かつた人では無い。仮令伊藤公までゆかぬにしても兎に角、学問のあつた方である。然し伊藤公のやうに条理整然たる筋道の貫つた議論の出来なかつた方で`形勢が面白く無くなつて来たとか、国家に不利益現象が顕れて来たとか云ふ時にでもなれば、整然たる条理によつて之を是非論評するといふ事をせずに「それでは大変だ」とか「そんな馬鹿な真似をされて堪るものか」と謂つたやう調子で、大きく握んだ議論だけをガヤガヤとせられたものである。然し行には全く敏で、殊に形勢を看取することにかけては最も敏な人であつたから、世の中が如何な風に動いてゆくものか、之を逸早く察知してそれ〴〵臨機の処置を講じ、当面の形勢に応じて片つ端から之を片付けてゆく事には、実に妙を得て居られたものである。単に日本国内の形勢推移を看取するに敏であらせられたのみならず、世界の形勢を看取することにかけても却々敏で、之に対する処置も総て機敏に行つてゆかれたものである。旁々井上侯は、孰れかと謂へば言に訥、行に敏であつた人であつたと申上げるのが、当を得たものだらうと思はれる」

 兒玉愛二郎 「負けぬ性の人で『まいりました』ということを言わぬ人であった」

 中村弥六 「世話好き。一旦見込んだ人には身分や出身地の如何に関せず常に満身の誠意を傾注して世話をやいた」

曽根松太郎も明治35年に書いた『当世人物評』で井上が人材登用・育成に熱心であることを高く評価している反面、感情の起伏が激しく、些細なことでも激怒・罵倒したかと思えば冷たい対応を取ったりするため、親しい人にも去られて伊藤・山縣の下へ移る者も少なくないと長所と短所を指摘している。

 徳富蘇峰 「彼は官業反対論者なり。彼は徹頭徹尾民間が出来る業をお役人がやる事は非能率で民間の業を圧迫妨害する…」ものと考えていたことを紹介し、井上の合理主義者としての一面を評価している。また『我が交遊録』では、「無理も言ひ、我侭もするが、親切もあれば、思ひ遣りも深くあつた。それで或は又『井上の表門は如何にも厳重であるが、裏門からは犬でも猫でも、勝手に立入ることが出来る』と云つた者もある。これもそれ程ではあるまいが、何処にか彼には窮屈ではないところもあつたらしく見える。即ち彼にも相応の抜目があつた様だ。そこに或は、彼の人間味があるか知れぬ」と述べている。

アイゼンデッヒャー（ドイツ公使）「前外務卿（寺島宗則）よりよく、温和で礼儀正しい人物であった」

 リチャード・H・ブラントン（御雇英国人）「彼は流暢な英語を話すので、私は必要な仕事を容易に処理することができた」「彼は英語を正確かつ流暢に話し、彼はいっしょに教育を受けたアメリカ人仲間のユーモアと活動的な性質を吸収しているように思われた。私がこれまで会った日本人にこうした活動的な精神を見たことがなかった。彼は同僚日本人の旧套なやり方に対して遠慮会釈もなく嘲り続け、彼特有の方法で活を入れてびっくりさせるのであった。日本沿岸航海のうち、この井上のような下級役人とした児戯に類する論争ほど私の気持を自由で愉快にしたものはなかった」

エルヴィン・フォン・ベルツは「井上卿は大いに才能があり、教養があって、新日本の有為の人材の一人である。卿は、他の大部分の日本人に比べて、融通性にとみ、従って外交官としてはいっそう適任である。（中略）卿は生気に満ちた、理智的な面差しの小柄な人物で、ヨーロッパの文化や生活様式を完全に同化した日本人である」「井上伯は、七十歳の老齢だが、まだ白髪が一本もなく、多端な生涯を送って来たにもかかわらず、あのように若々しく見えるのには、いつもながら驚かされる」など、『ベルツの日記』内で言及している。

 系図 
 井上氏
光亨┳光遠＝＝馨＝＝┳勝之助＝＝三郎┳光貞━光順━光隆
　　┃　　　　　　　┃　　　　　　　┃
　　┗馨　　　　　　┣千代子　　　　┣元勝
　　　　　　　　　　┃　　　　　　　┃
　　　　　　　　　　＝可那子　　　　┣元廣
　　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　　　　　　　┗武子

 井上氏
　　　 　　　　　　　　　　　　　　　　　柳原承光━━真美子
　　┏━━━井上馨━━━━━千代子　　　　　　　　　　　　　┃　　┏井上光隆　
　　┗━━━光遠━━勝之助　 ┃　　　　　　　　　　 　 ┣━━┫　　　　
　　　　　　　　　　 　||　 ┣━━━井上光貞　 ┃　　┗井上光博　　　　　
　　　　　　　　　　　 ||　　┃　　　　┃　　　　　┏━井上光順　　
　　　　　桂太郎━━━井上三郎　　 　┃ ┏━━━┫　　┏雅子
　　　　　　　　　　　　　　　　　　　 ┣━┫　　　┗━━┫
　　　　　　　伊達宗徳━━二荒芳徳　　 ┃ ┣井上元勝　　┗君子
　　　　　　　　　　　　　　　┃　　┏明子 ┣井上元広
　　　　　　　　　　　　　　　┣━━┫　　 ┗武子
　　　　　　　　　　　　　　　┃　　┗治子
　　　北白川宮能久親王━━━拡子　　　┃
　　　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　石坂泰三　┏石坂一義
　　　　　　　　　　　　　　　┃　┃
　　　　　　　　　　　　　　　┣━╋石坂泰介
　　　　　　　　　　　　　　　┃　┃
　　　　　　　　　織田一━━雪子　┣石坂泰夫
　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　　　　　　┣石坂泰彦
　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　　　　　　┣石坂信雄
　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　　　　　　┣智子
　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　　　　　　　┗操子
　　　　　　　　　　　　　　　　　　┃
　　　　　　　　　　　霜山精一━━霜山徳爾

 家族・親族 
前妻：名不詳。志道慎平の次女。志道氏の養子縁組で結ばれるも、文久3年（1863年）のイギリス密航を機に離縁
娘：志道芳子（万延元年（1860年）に前妻との間に誕生。離縁の際志道氏へ引き取られる）
後妻：武子。父は交代寄合旗本新田俊純（岩松俊純）。なお、明治維新時には経済的困窮から、大隈綾子とともに茶屋奉公をしていたとされるが高村光雲はこれを否定している。また、中井弘の妻となったとされるが華族辞典などに記録はなく、武子は馨との婚姻が初婚である。実家はのちに男爵家となる。
養嗣子：井上勝之助（甥、兄光遠の次男、外交官）
娘：藤田聞子（庶子、生母は祇園の芸妓だった倉治つね子。明治元年生。藤田四郎の妻）
娘：井上千代子（庶子、生母は井上てつ。明治32年生。養嗣子・勝之助の養女となり桂太郎三男の井上三郎と婚姻）
養女：井上末子（姪、姉常子と小沢正路の娘、勝之助の妻）
養女：山田龍子（湯田温泉の瓦屋・鹿島屋喜右衛門の娘、山田顕義の妻）
養女：都筑光子（新田俊純の娘。都筑馨六の妻）
養女：桂可那子（名古屋の料亭・旗亭香雪軒の経営者・木村常次郎の養女、桂太郎の3番目の妻）
養孫・婿：井上三郎（桂太郎の三男、勝之助の養嗣子、娘・千代子の夫、陸軍少将）
孫：井上光貞（三郎・千代子夫妻の長男、東大名誉教授、日本古代史研究者）
兄：長男・光遠(井上五郞三郞)
甥：児玉幾太郎（光遠の長男、勝之助の兄、児玉源吾の養子）
甥：森祐三郎（光遠の三男、幾太郎、勝之助の弟。来島又兵衛の長男森清蔵の養子。三井銀行勤務）
甥：伊藤博邦（光遠の四男、幾太郎、勝之助、祐三郎の弟、伊藤博文の養嗣子）
姉：長女・常子、小沢正路の妻
妹：次女・菊子、夭折
妹：三女・孝子、福原元僴の息子彦七の妻
妹：四女・厚子、森清蔵の妻