张荣味以六成余票数成功连任，打败民进党提名、时任国民大会代表的林树山。2003年底，宋楚瑜有次路经云林，并向已回复无党籍身分的张荣味下跪，为云林的预算被政府删除一事道歉。当时张尚未决定是否于2004年总统大选支持连宋，因有传言指出，若张支持国民党，陈水扁政府即会彻查他的弊案，最后张选择替连宋辅选，然而总统大选时云林县仍是绿营得票较多。在2004年立法委员选举前一日，张荣味被捕入狱，而以无党籍的身分参选立委的张荣味胞妹张丽善则高票当选。由于张丽善仍是国民党员，所以被视为是泛蓝的胜利。由于张荣味被判入狱三个