981年7月，林正杰通过硕士论文口试，宣布将角逐台北市议员。与陈水扁、谢长廷跟康水木4人以「党外、制衡、进步」联合参选台北市议员。林正杰参选大安、城中跟龙山选区，年底4人皆高票当选市议员。1981年林正杰进入台北市议会。市议员任时，林正杰与陈水扁、谢长廷因问政相近且常常并肩质询，因此被称为「党外三剑客」。当时由于党外市议员经常在议会与国民党的市议员发生冲突，也造成党外的见报率逐渐提高。
街头狂飙十二天.1985年因质询国民党籍市议员胡益寿向市银行违法超贷1亿元事件，而被胡控告诽