林多数的政治势力被张派垄断，其他派系担忧功劳又被张派独佔，引发许派不满暗扯后腿。结果连宋意外大输八万票，使得张荣味脸面无光，2004年立委选举妹妹张丽善获得云林县最高票当选，张派人马张硕文和黄逢时也双双当选。2005年，张荣味支持张清良接棒，最终中国国民党提名许派的许舒博，张派选择保持中立，部分系统暗中倒戈支持苏治芬，一举将许派势力击溃，成功联合次要敌人整肃其他派系。2008年，立委选举开始採用单一选区，云林县两席立委均被张派推出的张嘉郡和张硕文包办，可以说是大获全胜。2009年，张荣味当选台湾省商