。当时张尚未决定是否于2004年总统大选支持连宋，因有传言指出，若张支持国民党，陈水扁政府即会彻查他的弊案，最后张选择替连宋辅选，然而总统大选时云林县仍是绿营得票较多。在2004年立法委员选举前一日，张荣味被捕入狱，而以无党籍的身分参选立委的张荣味胞妹张丽善则高票当选。由于张丽善仍是国民党员，所以被视为是泛蓝的胜利。由于张荣味被判入狱三个月以上，内政部将其停职，并指派曾任基隆市市长的李进勇代理县长。2005年县长选举时，国民党、民进党分别提名时任立委许舒博与曾任立委苏治芬参选，由于张系并未表明支持对象，