陸軍長官を退いた後は、1989年から1994年まで予備役政策委員会の議長を務めた。彼はまた、製薬会社であるノヴァヴァックスの暫定CEOにも就任し、次いで同社の理事会に席を設けた。マーシュは副大統領などを歴任したディック・チェイニーからの信頼が厚く、彼とは腹心の友だった。1998年から1999年までバージニア州立軍事学校の倫理学客員教授を、1999年から2000年までウィリアム・アンド・メアリー大学の法学非常勤教授を務めた。彼が亡くなった2019年には、ジョージ・メイソン大学の非常勤教授として科学技術とテロリズムに係る国家安全保障法の講義を行っていた。2007年、ウォルター・リード陸軍病院に収容された負傷兵が劣悪な医療環境に置かれていた問題では、国防長官のロバート・ゲーツによって、マーシュは元陸軍長官のトーゴー・D・ウェスト・ジュニアとともに独立調査委員会委員に任じられた。同委員会は医療と指導の欠陥を追求し、老朽化した同病院を閉鎖してメリーランド州ベセスダにある国立海軍医療センターに機能移転することで合意に至った。 マーシュはまた、マークル財団の会員でもあった。シェナンドー大学のジョン・O・マーシュ政府および公共政策研究所は、彼の名に因んで名づけられている。2019年2月4日、うっ血性心不全の合併症により死去。
1981年からはロナルド・レーガン政権下でアメリカ合衆国陸軍長官を務めた。長官就任後はまず陸軍省の予算を30%増額し、アメリカ陸軍の再建を図った。これは、1979年に行われたイーグルクロー作戦の失敗を受けて、かねてよりマーシュが特殊部隊の強化を主張していたことによる。さらに、マーシュは準中距離弾道ミサイル「パーシング II」を西ドイツに配備する計画を支持し、議会の説得に努めた。パーシング IIの配備は、結果としてソビエト連邦が中距離核戦力全廃条約を締結する要因になったと考えられている。マーシュは約8年と6ヶ月にわたって陸軍長官を務めたが、これは2019年現在も最長在任記録となっている。
1973年、マーシュは国防長官補佐官に任命され、翌年1月にはジェラルド・フォード副大統領の国家安全保障問題担当副大統領補佐官となった。フォードが大統領に就任すると、彼は大統領法律顧問となり、政府高官の地位を得た 。国家安全保障問題担当大統領補佐官だったヘンリー・キッシンジャーや大統領首席補佐官のドナルド・ラムズフェルド、大統領上級顧問のフィリップ・W・バッケンらと並び、彼はフォードの一番の補佐官と目された。
1963年にマーシュはバージニア州第7選挙区から出馬し、民主党の下院議員となった。1971年まで下院議員を務めていたマーシュだったが、任期中に一か月ほどベトナム戦争へ参戦している。その際、同僚の兵士には自らが議員であることを明かさなかった。
1952年、マーシュは州兵として勤務する傍らバージニア法廷に入院し、ストラスバーグで法学を学んだ後に市裁判官を兼務するようになった。1954年から1962年までニュー・マーケット市法律顧問も務めている。
栃木県黒磯町生まれ。福島県立白河中学校、明治大学政治経済学部を卒業後、1943年（昭和18年）に読売新聞社 に入社する。読売新聞社会部記者などを歴任し、読売争議の際は急進的な組合側の急先鋒となる。1946年（昭和21年）に読売新聞を退社してアサヒ芸能新聞社を経営し、『アサヒ芸能新聞』、『日東新聞』を創刊する。1952年（昭和27年）の大阪讀賣新聞創刊と1975年（昭和50年）の中部讀賣新聞創刊に「読売の大番頭」務臺光雄の命で携わり、「務臺（読売）の黒子役」とも言われる。のちに報知新聞社取締役、読売不動産社長を歴任する。1951年（昭和26年）に竹井産業を設立して1965年（昭和40年）に商号を「地産」に改称し、高度経済成長期に全国各地のビジネスホテル「チサンホテル」やゴルフ場「チサンカントリークラブ」、「チサン」ブランドのマンション分譲を行い不動産事業を拡大して中堅不動産会社に育成した。地産グループは拡大方針を採り、主に株の買い占めによる手法で地産トーカン・平田紡績など複数の企業買収を繰り返した。1973年（昭和48年）に「大自然出版」を創業した。このほかに埼玉新聞社を経営した時期がある。バブル期にファミリー企業の「ミヒロファイナンス」と「木鶏」の2社で株式へ盛んに投機し、光進グループをはじめとする仕手グループの有力な資金源となる。1991年（平成3年）6月に国際航業株の売買で得た55億円の利益を隠して、東京地検特捜部に34億円の所得税法違反容疑で逮捕された。1992年（平成4年）4月に懲役4年、罰金5億円の実刑判決を受けて収監された。住専の地銀生保住宅ローンの大口貸出先でもあり、多額の不良債権を生じさせた。信用の失墜した地産はバブル崩壊も影響して、2002年（平成14年）8月に東京地裁に会社更生法の適用を申請して事実上倒産した。ホテル、ゴルフ場部門のみローンスターが買収して存続している。脱税事件を巡る裁判の途中に高野山へ修行して、得度して以降は心泉と号していた。書画、陶芸はプロ級の腕前。晩年はヨガの呼吸法を研究していた。2003年（平成15年）7月29日に自宅で82歳没。