落選後4年間、高齢の身を押して草の根選挙運動に走り回り、1976年にはトップ当選で返り咲く。1978年第1次大平内閣の法務大臣に就任する。法務大臣在任中にダグラス・グラマン事件が発覚した。1979年総選挙では2位当選、1980年には4位（最下位）当選と、地盤侵食・世代交代の流れには逆らえなくなった。1981年9月28日、衆議院永年勤続表彰における謝辞演説で、古井は「いまや、民主政治のよって立つ選挙は、体力にあらずんば金力の戦いとなり、政治は、富の神の支配する領域と化した感があります」と述べ、率直な金権政治批判に翌日の新聞各紙がこぞって大きく取り上げるなど、広く反響を呼んだ。このほか政治改革について「金のかかる選挙制度の改革」を主張していたが、一方で1982年、金権政治の象徴ともいうべき田中角栄について、総合雑誌上に「総理大臣は直接的に民間航空行政を指揮監督する権限はなく、したがってロッキード社から金銭を授受したとしても収賄罪にはあたらない」という、田中擁護とも受け取れる趣旨の時事論文を発表し（『中央公論』1982年6月号、「ロッキード裁判に思う－政治倫理と法治主義の問題」）、世間を当惑させている。1983年に政界引退。鳥取県知事の平林鴻三（自治省出身、立候補に伴い知事を辞任）に地盤を譲り、その後は日中友好会館館長を務めた。1982年勲一等旭日大綬章、1993年東京都名誉都民。1995年2月3日午前1時41分、呼吸不全のため東京都杉並区の病院で没、92歳。葬儀と告別式は同月6日午前10時半から東京都港区の長谷寺で行われ喪主は長男が務めた。
1964年の佐藤栄作政権発足以後、親米・親台湾に傾斜する佐藤への批判を強め、党内で孤立を深めていった。同年、松村謙三らと共に、中日友好協会会長であった廖承志と日中双方の新聞記者交換に関するメモを取り結んだ。これによって国内の反中国的な言動を抑え込んだために、日本の新聞は中国に関して自由な報道が大きく規制されることになった。1967年、LT貿易の5年間の期限が切れると、古井は田川誠一、岡崎嘉平太とともに翌1968年訪中し、覚書協定を交わした（この協定に基づく貿易を「覚書貿易」と呼ぶ）。期限は1年間で、古井はその後1969年、1970年、1971年と訪中を重ね、協定継続に務める。この間、自民党内のタカ派を中心に「屈辱外交」「土下座外交」と罵声を浴びせられ、また中国側からも「佐藤の弁護人」「佐藤と結託」という言葉を投げつけられながら（古井も松村と同様、中国側の佐藤批判に調子を合わせるようなことはしなかった）、日中間のパイプ役を務めていた。やがて、時代の潮目は大きく変わり、1972年田中角栄政権のもとで日中国交正常化交渉においては田川とともに事前交渉を行い、日中共同声明の調印に貢献したが、同年の第33回衆議院議員総選挙で落選した（定数4で7人立候補し、6位で落選。当選者は自民党が徳安実蔵・赤沢正道の2名、無所属の新人島田安夫が後自民党、日本社会党の野坂浩賢が初立候補初当選）地元への利益誘導が、鳥取においても選挙で幅を利かす時代となっていた。古井落選については「外交は票にならないのか?」と、地元の支持者や一部マスメディアを賑わせた。
2001年（平成13年）3月24日のダイヤ改正では大幅な停車駅の見直しと種別の整理が行われた。特急を通勤特急に、快速急行を快速特急に、急行を快速急行に、快速を急行に改称の上で南茨木駅にも停車させ、特急は停車駅を快速特急よりも多く快速急行よりも少なくして、各優等列車の停車駅を従来のほぼ2倍にし、特急を事実上それまでの急行と同等の列車にした（この点については2007年の淡路駅の追加停車でその様相がさらに色濃くなった）。同時に準急と行楽期の「嵯峨野エクスプレス」を廃止し、行楽期の臨時特急を新設した。また河原町駅の2番ホームをのぞく線内全駅が8両編成対応となった。これにより高槻市から河原町までの区間において平日ダイヤの昼間は一部列車が減便（従来の特急は実質廃止）、休日ダイヤでも京阪間直通優等列車の総本数は減少（特急・急行で1時間当たり8本が特急6本に、25%減少）した。また、特急の所要時間も十三駅 - 大宮駅間ノンストップ時代の38分から5 - 6分延びて、下り44分、上り43分が標準的な所要時間となっており、これは同月23日以前の急行の所要時間と2 - 3分程度しか変わらない程スピードダウンしている。2003年（平成15年）には3扉車の9300系が特急に投入される。2007年（平成19年）3月17日のダイヤ改正では特急が淡路駅にも停車するようになり、2001年以前の急行（現在の快速急行）と比べ大差のない停車駅（大宮駅・西院駅に停車しないだけ）になった。2010年2月には2扉車両6300系の特急運用が終了した。一方で、21世紀に入ってから駅間の長い区間に新駅の設置も進めており、洛西口駅、摂津市駅、西山天王山駅が開業している。