1944年（昭和19年）7月上旬、サイパン失陥により東條内閣は崩壊し、小磯国昭・米内光政の両名に組閣の大命が下り、7月22日付で小磯内閣が発足した。予備役の大将だった米内は特旨をもって現役に復帰し、副総理格で海軍大臣に就任した。7月28日、井上は米内の要請を受けて、米内が宿泊する京都の都ホテルを訪ねた。米内に海軍次官就任を懇請され、何度かのやりとりの挙句米内に押し切られ、井上は「政治のことは知らん顔していいのなら、やります。部内に号令することなら、必ず立派にやります。御心配かけません」と、次官就任を受諾した。井上はこの時のことを「自分の貫禄負けだった」と述懐している。同時に、米内と井上は軍令部総長の人事について相談した。米内は、軍令部総長の嶋田繁太郎大将を更迭することは決めていたが、米内をバックアップしていた海軍出身の重臣である岡田啓介大将が「海軍部内の信望が米内に劣らない末次信正大将を、米内同様に特旨をもって現役復帰させ、軍令部総長とする」構想を持っていることには反対であった。井上の口から「末次」の名は一切出ず、及川古志郎大将を総長とすることがすんなり決まった。8月5日、井上は海軍次官に任命された。中将進級6年目の井上は次官就任に際して「特に親任官の待遇を賜う」という辞令を受けていた。兵学校教官たちに対する退任挨拶で「私は過去1年9か月、兵学校長の職務を行ってきたが、離職に当たって誰しもが言うような、大過なく職務を果たすことができた、などとは言わない。私のやったことが良かったか、悪かったか。それは後世の歴史がそれを審判するであろう」と話した。次官に就任し、機務に接する立場となった井上は、戦局が絶望的であること、それを直視して根本策（戦争を止める策）を実行しようとする勇気に欠けた海軍中央の雰囲気を知った。8月16日の特攻兵器震洋の検討会で、草鹿龍之介中将とともに生還の可能性も考えてほしいと意見するが、最終的にそういった措置が採られることはなかった。8月29日、井上は大臣室で米内に「日本の敗戦は動かしがたいので内密に終戦の研究（終戦工作）を始めるので大臣と軍令部総長には承知願いたい」旨を具申し、続けて研究には海軍省人事局の高木惣吉少将を充てたいこと、その為に高木を「海軍省出仕、次官承命服務」にしたいと述べた。同日、井上は高木を次官室に呼び、快諾を得ると彼を病気療養という名目で海軍省出仕扱いとした。高木の目立たない執務場所として海軍大学校研究部が選ばれたため、高木への辞令は「軍令部出仕 兼 海軍大学校研究部部員」となり、職務内容は「次官承命服務」となり、翌年の1945年（昭和20年）3月には「兼 海軍省出仕」の肩書が追加された。井上の命を受けて、高木は海軍部外の志を同じくする要人や有識者の間を精力的に回り出した。その時の高木は背広姿であったが、時には海軍の錨マークがついた公用車に乗って要人や有識者の私邸へ急行した。戦争終結を密かに考えていた彼らは「海軍が現役将官をして正式に和平への道を探らせ始めたこと」 の証を見て、大いに勇気づけられた。高木は原田熊雄や松平康昌を通じて、昭和天皇の側近や重臣に自分の考えを伝えた。岡田啓介大将宅を訪問して報告し、指示を受けた。細川護貞を介して近衛文麿元首相に、さらに近衛を通じて高松宮に意を通じた。現役の海軍大佐である高松宮には、高木は直接に報告して連絡を密にしていた。高木のこのような活動により、あまり仲の良くなかった岡田と近衛が徐々に理解し合い、共通の目的である戦争終結に動き始めた。戦後の井上は、「終戦工作が実を結び、八千万同胞が玉砕せずに残れたのは高木少将の力である。私はそれを命じただけ」と言い続けた。一方、高木は、井上成美伝記刊行会事務局に宛てた1979年（昭和54年）6月末日付の書簡で「井上大将は私が功労者のように述べておられますが、以前述べた如く私はお使い小僧に過ぎなかったので、米内、井上両上司の考を関係要所に浸透させるのが私の任務でした。ただ、井上次官に隠して実行したことは、陸軍の課長級と直接接触して何とか陸軍の態度を緩和させようと努力したことだけです。むろん失敗に終わりました」と述べている。戦後井上は「秘密にやったんです。高木さんの職務は書き物で訓令は出さない、書類は残さんぞ、だけど、［中略］公の職務として高木君がもらったものなんですよ。［中略］高木君が酔狂で、海軍省で遊んでいるからブラブラしててやったという問題じゃないんです。公務なんですから、陸軍の松谷、荒尾、佐藤［中略］これらは個人としてそういう考えを持っていたというだけのことで、［中略］高木君を同じレベルに並べて見たら大変な間違いになりますから、その点を一つ間違いなく見て頂きたい」と証言した。井上は、同時に、仮に「高木自身が和平に賛成しなくても、その準備をしなければならない立場にあった」ことを歴史にとどめるべきだと言っている。海軍大臣副官 兼 秘書官であった岡本功中将によると、高木はしばしば井上を次官室に訪ねて話をしていた。また、核心に触れる話については、夜に井上が住む大臣官邸を訪ねて、例えば近衛の私生活上の話に至るまでのあらゆる情報を伝えていた。井上や高木にとって最重要なことは「一日も早く戦をやめること」であり、そのためには如何なる犠牲を払っても良いというほど、二人の決意は徹底していた。陸軍や重臣が譲れない講和条件としていた「国体護持」についても、二人の関心は次第に薄れていった。高木の他に、井上と志を同じくする者が海軍部内にいた。海軍省兵備局二課長の浜田祐生大佐であった。浜田は1944年（昭和19年）に海軍大臣官邸で開かれた戦備幹部会で、物的国力の現状を詳細に説明し、このままでは戦争継続が不可能であることを大臣・総長に分らせようとした。説明が1時間以上も続いた後、井上は「戦争終結」を口に出しかねまじき浜田の意図を見抜いて「浜田、もう止めろ」と制止した。浜田は、当直の晩ごとに大臣官邸に井上を訪ねて「戦争終結へ急いで欲しい」と頼んでいた。浜田は井上－高木ラインの活動を知らず、井上もそのことを浜田に告げることは出来なかった。戦後、井上は自分の住所録の中の浜田の名に「［先見の明あり、大忠臣］終戦の必要を井上［次官］に申出づ。［大海軍で只一人］と添え書きしていた。1944年（昭和19年）9月5日、陸海技術運用委員会が設置され、井上は陸軍省次官とともに委員長を務めた。特殊奇襲兵器開発のために陸海民の科学技術の一体化が図られた。10月25日、井上はフィリピン沖海戦で損傷した艦船の修理に関して、石油、ボーキサイトの還送に支障があってはならない、タンカーや貨物船の建造が遅れ、その後の特長ある作戦に必要な特攻兵器などの建造計画に影響があってはならないと軍務局長・多田武雄中将、運輸本部長・堀江義一郎少将に指示した。レイテ沖海戦で連合艦隊が事実上壊滅し、1945年（昭和20年）2月以降は、南方の石油を内地へ輸送する道が絶たれ、僅かな残存艦艇も動けなくなった。海軍の勢力が衰え、海軍・陸軍の戦力バランスが崩れたことで、陸軍の主導の下に「陸海軍一元化」が画策され、3月10日に、海軍大臣の米内、海軍次官の井上、軍令部次長の小沢治三郎中将（井上と海兵同期）らに、陸軍の対応する職階の者たちが「陸海軍一元化」を呼びかけてきた。しかし和平のために活動している井上がこれに同意するはずがなかった。当時の井上の考えは、いくつかの書類に書かれて現存している。陸軍に海軍が吸収されて国軍が一本化するということは、「本土決戦」で徹底抗戦するという陸軍の戦略に従うことであり、米内・井上の到底容れ得ることではなく、両名の頑とした反対により陸海一元化は阻止された。井上によれば、これに先立つ1944年（昭和19年）12月に海軍大臣官邸での会食の後に、井上と二人きりになった米内が井上に「俺はくたびれた。井上、お前に大臣を譲る」という旨を言った。井上は「陛下の御信任で小磯さんとともに内閣をつくった人が、くたびれたくらいのことで辞めるなんていう手がありますか。今は国民みな、命をかけて戦をしているんではないですか。少なくとも私は絶対引き受けませんよ」と即答した。大臣秘書官の岡本中佐によると、翌年1月10日にも同様の問答があった。高木は、2月26日に、横須賀の海軍砲術学校教頭を務めていた高松宮を訪問し、小磯・米内内閣更迭の場合の海軍首脳陣容について高松宮から問われ、3つの案を提示した。そのうち1つの案では、井上が大臣に擬せられていた。井上の回想によると、4月1日に海軍省人事局長の三戸寿少将が日曜の午後で大臣官邸の自室にいた井上を訪問し、人事異動の案を示した。そこには「大臣：井上」とあった。井上は三戸に「だめだ、次官がやれるから大臣もやれると言うもんではない。私は大臣不適なことは自分でよく知っている。米内さんにそのままやって貰うんだ」と言った。井上は「危機一髪、之で三度」と表現している。井上は中将進級（1939年（昭和14年）11月15日）から5年を経過して、現役で海軍次官の要職にあった。太平洋戦争中は、中将に進級して5年半経過しても現役にある者は大将に親任される慣例であった。これを反映して、1944年（昭和19年）の暮れごろに、米内が大将親任の話を井上に持ちかけた。この時井上は「大将にすると言うのは次官をやめろということですね」と米内に念押しし、「和平か玉砕か、国家が運命の岐路に立たされている時、何故、己の片腕とも頼むものを切ろうとするのか」と暗に米内に訴えた。井上は、1945年（昭和20年）1月20日付で「大将進級に就き意見」と題して毛筆で一文を書き、米内に、正式に自分の大将親任反対の意志を表明した。次いで、2月3日には「当分海軍大将に進級中止の件追加」と題した一文を米内に提出した。井上の回想によると、3月半ば、海軍大臣官邸で米内と井上が二人だけになった時、米内が「4月1日付で、塚原二四三中将と井上を大将にする」と告げた。井上は「『戦敗れて大将あり』ですか。今、大将を二人つくらないと海軍が戦をやっていくのに困るわけでなし、この戦局なのに、大将なんかできたら国民は何と思いますか。その上私は人格、技能、戦功、どれ一つとって考えても、自ら大将なんていう器ではないと考えてます。米内大将もやはり月並みの男だなと笑われないように、篤とお考えになったらよいでしょう」と返答した。2、3日して、米内から井上に「塚原も君も今度は大将見合わせだ」という言葉があり、井上は、自分の進言を米内が聞き入れてくれたことに謝意を述べた。1945年（昭和20年）4月5日、小磯内閣が総辞職した。戦局が末期的様相を帯びてきたのがその主因であったが、井上 - 高木の工作によって、ようやく重臣たちが陸軍主導の内閣を排し、和平を模索する方向を取り始めたことを意味し、井上や高木にとっては、和平早期実現の好機であった。ただ、米内は、小磯と共に前年の7月に組閣の大命を受けた経緯があるので、新内閣に留任するのは「政治道徳」上至難であるという問題があった。井上は、内大臣の木戸幸一から、高木を通して「組閣の大命は、枢密院議長の鈴木貫太郎海軍大将に下る見込み」との内報を受け、それに賛同すると共に、条件として「鈴木大将は人物も度胸も申し分ないが、失礼だが総理として必要な政治感覚に乏しいと思う。それ故鈴木内閣が出来るとすれば、米内大将は是非共鈴木さんの片腕、相談役として入閣して貰う必要がある。之は絶対条件と思う」と、木戸に返答するように高木に指示した。これは、海軍部内の誰にも相談せず、井上一人が独断で決めたことであった。4月5日に鈴木に組閣の大命が下ると、井上は、高木に「海軍の総意は米内の海相留任である」と鈴木に伝えるよう命じ、鈴木に承知させ、その後で海軍首脳の了解を取り付けた。この「海軍の総意」は、実際は井上一人の考えだった。その後、米内自身が海相留任に難色を示したが、井上が押し切った。井上は、米内に4月25日付で「当分大将進級を不可とする理由」という文書を三たび提出した。しかし井上の回想によると、5月7日か8日に井上は大臣室に呼ばれ、米内から「陛下が塚原と君の大将親任を御裁可になったよ」と告げられた。井上は「陛下の御裁可があったのでは致し方ありません。あたりまえなら大臣のお取り計らいにお礼を申し上ぐべきでしょうが、私は申しません。なお次官は罷めさせて頂けますでしょうね」と答え、米内が「うん」と答えて、井上の次官退任が決まった。井上は「“負け戦、大将だけはやはりでき”、こういう句ができましたよ」と米内に言い残して大臣室を退出した。井上は、戦後この日のことについて「それで米内さんと喧嘩別れしちゃったんだ（中略）それっきり仲直りしてません。その問題についてはね」と語っている。米内と井上が「喧嘩別れ」した経緯については、諸説がある。ただし、米内と井上の考えが、和平という大筋では一致しても、具体的な方法について一致していなかった可能性がある。井上は戦後に小柳冨次中将に「米内大臣は、一度何処かでアメリカ軍を一叩きしたあと、和平に持って行ってはどうかと考えておられたが、私はそれはとても望みないと思っていた」と語っている。3月に硫黄島が攻略されて、米軍の戦闘機P-51が進出し、以後、直掩機のP-51に守られたB-29の本土空襲は急速に規模と回数を増し、非戦闘員の犠牲が幾何級数的に増加した。井上は毎日のように「大臣、手ぬるい、手ぬるい。一日も早く戦をやめましょう。一日遅れれば、何千何万の日本人が無駄死にするのですよ」と米内を責め、ときには具体的な計数まで示して説得していた。井上は、4月初めに『日本の執るべき方策』と題した、十数枚の所見を米内に提出した。この所見は、米内の「沖縄をとられたらどうするか」という質問への井上の答であり、その趣旨は「独立と言うことだけが保たれれば、他はどんな条件でもよいから戦をやめるべきである。米軍の本土上陸前に講和をしなければ、日本人の国民性から考えると、米軍に対し徹底的に抗戦し、遂には講和する母体まで消滅させてしまうであろう。それを防ぐため中立国、ソ連（スウェーデン、スイスでも可）を介して速やかに交渉を開始すべきだ」というものであった。井上にとっては、もはや、国民の生命以外守るべきものは何もなかった。井上は「（1945年（昭和20年））5月に終戦のチャンスはあった。もちろん、米内、井上が殺されるほどのことはあったろうが…」と回想する。さらに、7月26日にポツダム宣言が発せられてから、8月15日まで、天皇制護持をめぐって20日間も終戦の決定が先送りされたことについて、高木に「天皇制は認めないといっても、終戦すべきであった」「そうすれば広島、長崎の悲劇はなかった」と語っている。近衛・木戸などの天皇側近は、国体護持や既存の国家体制維持を前提としての休戦を望んでいた。一方、上記のように、井上は一般国民の側に立っての一日も早い休戦を望んでいた。井上は海軍大将に親任された5月15日付で海軍次官を免じられ、軍事参議官に親補された。その翌日から1か月間、井上は40年間近い海軍生活で初めて長期休暇をとり、伊東にあった海軍将官保養所に滞在した。その後、井上は東京に戻り、芝の水交社に起居した。水交社には、支那方面艦隊参謀長時代の井上に参謀として仕えた、海軍省軍務局員の中山定義中佐が宿泊していた。中山は調査課員を兼務しており、リアルタイムに機密情報を知り得る立場にあった。井上が毎日の夕食時に中山と顔を合わせると、中山が知る限りの情報を聞き要点を確かめ注意事項を指示した。高木は新たに次官になった多田武雄中将を「ボンクラ次官」と評して頼りにせず、井上の帰京後は「報告先が、次官室から水交社に代わっただけ」と回想するように、和平工作を井上 - 高木のラインで中断することなく続けた。7月26日に連合国がポツダム宣言を発し、これに対して鈴木が「黙殺する」と語ったことで内外に混乱が生じ、8月6日の広島への原爆投下、8日のソ連の対日参戦、9日の長崎への原爆投下と事態が急速に悪化して、10日に日本政府はようやくポツダム宣言受諾を決定して午前6時45分、スイス、スウェーデン両国を通じてポツダム宣言受諾の無電を発した。同日午前11時に、海軍の元帥・軍事参議官らが米内光政海相に招かれ、ポツダム宣言受諾に至った経緯の説明を受けた。米内は秘書官に「居並ぶ大将連が、いずれも残念そうな顔つきをしていたのに、井上大将だけはひとりすがすがしい顔をしていた」と語った。8月15日以降、軍令部次長の大西瀧治郎中将の割腹自決、第五航空艦隊司令長官の宇垣纏中将の特攻が続いた。8月16日に開かれた「大将会」で、井上は「事態が斯くなれること其他につき、夫々責任の地位にある人が、自殺する人がある様なるも、成る程自殺すれば当人の気持としては満足なるべく、又自己の生涯を飾るべきも、而し此の大事な重要な人々が次々と此の如くして所謂自殺流行にして後を顧みぬと云う事は国家の損失なり」と戒めた。井上は、海軍での最後の仕事として、第五航空艦隊の「査閲」を、海軍大臣の米内から9月10日付で命じられ、第五航空艦隊の各基地において最寄りの航空部隊指揮官及び関係幹部を集めて、彼らの執った処置と復員の状況について調査し、統制ある終戦処理を推進して帝国海軍有終の美を飾るよう説いた。10月10日に待命、10月15日に予備役に編入されて、兵学校入校以来39年間の海軍生活を終えた。井上はこの時55歳だった。敗戦後に進駐してきた米軍との折衝に部下を伴って赴き、部下の英会話力が不十分と見た井上は、脇からキングズ・イングリッシュで話し始め、全ての要件を片づけてしまった。