于1961年批示「应予开除党籍之处分」，后因先被中国国民党中央委员会纪律检查委员会决定停止党权一年，在不宜二次处分的考量下，国民党方面建议于当年6月份党员重登记时不予登记，撤销其党籍。此后，未再加入国民党。1971年12月30日，自行拆除位于台中市三民西路的住宅，以配合都市计画。1979年12月10日，高雄市爆发美丽岛事件，对此虽然表示美丽岛人士是「自以为革命，也找错了革命对象」，并以此公开批评台独人士，但他也从此开始和党外运动人士交往，尤其与康宁祥、林正杰等人友善，被尊称为「费老」。美丽岛