国民大会代表复决通过《中华民国宪法》修正案，正式将立法院席次减半成为113席。但是也由于多次对于民主进步党施政提出意见，这使得其与时任中华民国总统的陈水扁关系极为谨慎，也由于改革理念使得其与民主进步党高层逐渐远离。2005年5月27日，林义雄接受《中国时报》记者何荣幸专访时表示中华人民共和国是一个大国，台湾是小国家且正在中国大陆旁边，也因此中国大陆的各项政治、军事、经济运作都会影响到台湾。对此他认为小国与大国互动最重要的是必须让大国相信「你的存在不会妨碍它的利益」，让大国能够相信小国政治领导人和它的对应