井上の命を受けて、高木は海軍部外の志を同じくする要人や有識者の間を精力的に回り出した。その時の高木は背広姿であったが、時には海軍の錨マークがついた公用車に乗って要人や有識者の私邸へ急行した。戦争終結を密かに考えていた彼らは「海軍が現役将官をして正式に和平への道を探らせ始めたこと」 の証を見て、大いに勇気づけられた。高木は原田熊雄や松平康昌を通じて、昭和天皇の側近や重臣に自分の考えを伝えた。岡田啓介大将宅を訪問して報告し、指示を受けた。細川護貞を介して近衛文麿元首相に、さらに近衛を通じて高松宮に意を通じた。現役の海軍大佐である高松宮には、高木は直接に報告して連絡を密にしていた。高木のこのような活動により、あまり仲の良くなかった岡田と近衛が徐々に理解し合い、共通の目的である戦争終結に動き始めた。
海軍大臣副官 兼 秘書官であった岡本功中将によると、高木はしばしば井上を次官室に訪ねて話をしていた。また、核心に触れる話については、夜に井上が住む大臣官邸を訪ねて、例えば近衛の私生活上の話に至るまでのあらゆる情報を伝えていた。井上や高木にとって最重要なことは「一日も早く戦をやめること」であり、そのためには如何なる犠牲を払っても良いというほど、二人の決意は徹底していた。陸軍や重臣が譲れない講和条件としていた「国体護持」についても、二人の関心は次第に薄れていった。
井上は「“負け戦、大将だけはやはりでき”、こういう句ができましたよ」と米内に言い残して大臣室を退出した。井上は、戦後この日のことについて「それで米内さんと喧嘩別れしちゃったんだ（中略）それっきり仲直りしてません。その問題についてはね」と語っている。
戦後.
英語塾.
海軍が消滅して一市民となった井上は、横須賀市長井の家に隠棲した。
長井は、行政上は横須賀市に入るものの、実際は三浦半島最西端の半農半漁の村であり、横須賀市内からの交通も不便な「僻村」であった。
宮内庁の記録にはないが、作家の阿川弘之によれば、戦後間もない時期に宮中からの使者が井上宅を訪れ、井上宅があまりに乱雑であったため、使者はいったん立ち去り、井上が玄関口を掃き清めるのを待って再度訪問して口上を述べて、井上が「私のやったことが天子様の御心にかなった。これで死後、大きな顔して両親に会うことが出来る」と漏らしたとしている。
晩年.