立法委员时的承诺并且伤害民主进步党一向拥有的改革进步形象。同时他也提到如果民主进步党持续保持民主和样貌的形象，即便是金马地区人民和台湾原住民都迟早会选择民主进步党提名的候选人。2005年5月中华民国举办国民大会代表选举后，任务型国民大会代表复决通过《中华民国宪法》修正案，正式将立法院席次减半成为113席。但是也由于多次对于民主进步党施政提出意见，这使得其与时任中华民国总统的陈水扁关系极为谨慎，也由于改革理念使得其与民主进步党高层逐渐远离。2005年5月27日，林义雄接受《中国时报》记者何荣幸专访时表示中