为民进党通过「台独党纲」，林正杰反对台独对此不满。而林正杰与朱高正加入赵少康、周荃等人组成的立法院超党派早餐会，也引起民进党团立委的批评，成为退党导火线。加上林正杰此时官司缠身，最终走向退党。1991年6月，林正杰发表「宁为再度党外」声明后，退出民主进步党。表示会做一个民进党之外最同情民进党的人。然而退党后不久，林正杰就穿着劳动党的衣服出现在立法院，并发言要打倒民进党。
国民党时期.2011年，林正杰申请恢复国民党籍。国民党在台东提名饶庆铃参选立委，林正杰不顾党纪自行参选而被开