虎将」、「五龙一凤」，吴三连在这段期间不但投入《自立晚报》的经营，也参与雷震的组党运动。1960年在第二任省议员任期届满，由于感到体力不能承受，加上选风败坏，以及背负太多「人情债」，吴三连决定不再寻求连任。
卸任后.吴三连为「台南帮」重要精神领袖、地位崇高，在实业界有相当分量。早在1954年，即与台南帮的吴尊贤、侯雨利、吴修齐创立台南纺织，吴三连担任董事长，吴修齐任总经理。1960年3月更参与环球水泥公司的成立。退出政坛后，吴三连即专心从商。此外在1965年《自立晚报》改组后，