三升投入立法委员选举，高举「反攻无望论」、「番薯毋惊落土烂，只求枝叶代代湠」（番薯不怕落土烂，只求枝叶代代传）的口号，仍然落选。1981年，谢三升以党外身分当选第7届台湾省议员，有「小孔明」之称，与苏贞昌、游钖堃组成问政小组。1984年，谢三升以台湾省政府编列超额预算违宪为由，发动党外16位省议员集体辞职表示抗议，亦即台湾省议会「雾峰事件」；唯谢、苏、游三人坚持到底辞去议员席位，遂赢得「党外铁三角」美称。嗣后，连任第九、第十届省议员。1986年9月28日，民主进步党成立，谢三升为创党党员，属于美丽岛