有传言指出，若张支持国民党，陈水扁政府即会彻查他的弊案，最后张选择替连宋辅选，然而总统大选时云林县仍是绿营得票较多。在2004年立法委员选举前一日，张荣味被捕入狱，而以无党籍的身分参选立委的张荣味胞妹张丽善则高票当选。由于张丽善仍是国民党员，所以被视为是泛蓝的胜利。由于张荣味被判入狱三个月以上，内政部将其停职，并指派曾任基隆市市长的李进勇代理县长。此次选举，国民党提名时任立委许舒博，民进党提名前任立委苏治芬参选。尽管许、苏两人争相探望人在狱中的张荣味，张系仍未表明支持对象，结果苏治芬以五成余票数当选，成