ゴルムバッハには、様々な運動種目を有するスポーツクラブ MTVゴルムバッハがある。そのサッカー部門は、近隣のクラブFCヘルタ・リュトゲナーデ＝ヴァルプゼンとともにシュピールゲマインシャフト GoLüWa（ゴルムバッハ＝リュトゲナーデ＝ヴァルプゼン）を結成した。この他に、射撃クラブ v. 1904 ゴルムバッハ e.V. と射撃グリーデ・ゴルムバッハ・フォン 1961 e.V. の2つの射撃クラブがある。
海軍が消滅して一市民となった井上は、横須賀市長井の家に隠棲した。長井は、行政上は横須賀市に入るものの、実際は三浦半島最西端の半農半漁の村であり、横須賀市内からの交通も不便な「僻村」であった。宮内庁の記録にはないが、作家の阿川弘之によれば、戦後間もない時期に宮中よりの使者が井上宅を訪れ、井上宅があまりに乱雑であったため、使者はいったん立ち去り、井上が玄関口を掃き清めるのを待って再度訪問して口上を述べて、井上が「私のやったことが天子様の御心にかなった。これで死後、大きな顔して両親に会うことが出来る」と漏らしたとしている。井上は1945年（昭和20年）の暮れ頃から近所の子供たちに英語を教えていたが、僅かな月謝しか請求せず（月謝の額については後述）、他は塾生の父兄が魚や野菜を差し入れてくれる以外は無収入で、軍人恩給の復活（1953年（昭和28年）8月）までの井上の生活は困窮を極めていた。1951年（昭和26年）12月24日付の、姪（長兄・秀二の娘）の伊藤由里子に宛てた手紙で、井上は「貧民のような食事」をしている窮状を嘆いている。また英語塾を開く傍ら、高校生にフランス語の個人教授もしていた。1945年（昭和20年）の暮れ頃、長井の井上の元に戦争未亡人となった一人娘の靚子が息子の丸田研一と共に身を寄せたが、靚子も1948年（昭和23年）10月16日に肺結核で死去した（29歳）。井上は肺結核が悪化して寝たきりとなった靚子のために、寝たままで用便でき、風通しが良い竹製の介護用ベッドを作り、また、電気パン焼き器・万年カレンダー・太陽熱湯沸かし器などの様々な器械を「発明」していた。長井の井上宅には工房があり、木工・金属加工の道具類が一通り揃っていた。これらは、戦前、井上が海軍将官であった時に買い揃えたものであった。バリカンで自分の頭を坊主頭にするのも造作なかった。その後、井上が男手一人で孫の研一を育てるのは無理で、井上の困窮が募ったこともあり、8歳の研一を靚子の嫁ぎ先である丸田家に託さざるを得なかった。海軍将校だったため公職追放となる（1952年追放解除）。敗戦から6年が経過した1951年（昭和26年）12月10日、新聞「東京タイムズ」の1面トップで、海軍大将であった井上が横須賀市外の僻村で無収入に近い極貧生活を送っている様子が報道された。井上の下で第四艦隊機関参謀だった山上実は、靴下の行商でようやく生計を立てていたが、その記事を読んで衝撃を受けた。山上は、戦後も交誼を保っていた元参謀長の矢野志加三（元中将、当時東洋パルプ専務取締役）、元先任参謀の川井巌（元少将。当時東京光学機械の販売子会社「東光物産」の神保町店支配人）に連絡を取った。両名は、井上との信頼関係が最も厚かった人たちであり、実業界への転身に何とか成功しており、「山上君の言う通り（、井上さんがそんなに困っておられるなら）、何とかせにゃいかん。年明けにでも、みんな（司令部幕僚）揃って一度様子を見に行こう」と即決した。井上が追放解除された直後の1952年（昭和27年）5月に、矢野、川井、山上らの司令部幕僚が井上宅を訪問した。長官時代の井上の端正な姿を知る山上は、井上のあまりの貧窮ぶりを実見して溢れる涙を押さえられなかった。出迎えた井上は海軍軍装の襟章と袖章を外し、破損箇所を繕ったものを着ており、栄養失調で青黒い顔色をしていた。元参謀の中に東京周辺の学習塾の月謝の相場をあらかじめ調べて来た者がおり、井上に英語塾の月謝を尋ねると井上は東京の相場の1/5～1/6の金額を答えた。旧海軍料亭「小松」は、戦後も横須賀に健在であり、経営者の山本直枝は長井の井上宅を初めて訪問した時に、あまりの貧窮ぶりに「これが国のために働いた海軍大将の生活か」と絶句した。井上の生活ぶりを案じて、時々食べ物を持って井上宅を訪ねると、井上はいちいち掛け軸などを山本に渡して「お返し」をしようとする。井上の困窮に心底から同情していた山本は困惑したが、一時預かるつもりで「お返し」を受け取り、「井上さんが（本当に）困った時には、品物をお返しすれば良い」と自分を納得させた。山本は、井上に心置きなく好意を受けて貰う方法はないかと考えていた。1951年（昭和26年）頃になって、「小松」にアメリカ軍の客がやって来るようになったので、従業員への英会話の指導を井上に頼むことにしたのである。山本は「井上さんに好きなものを御馳走してさしあげようと思い、英会話の先生をお願いしたんです」と語っている。井上は英語塾で使っているものとは別に、「小松」従業員専用の英語教材を用意し、アメリカ・イギリスの国歌まで教えた。「小松」に大きな借りがあると考えている井上は報酬を求めなかったが、英会話を教えに「小松」に来る井上は、出される食事は喜んで食べ、「お車料」の名目で出される包みは素直に受け取った。井上と山本直枝の交誼は、井上が亡くなるまで続いた。