在立法院行使考试院正副院长同意权时，因绿委跑票未获通过，因而与扁政府渐行渐远。在2004年中华民国总统大选中，陈水扁在嘉义市取得了五成六的票数，大幅领先连战。2005年中华民国县市长暨县市议员选举时，民进党提名陈丽贞竞选连任，而国民党则推出时任立委黄敏惠参选。在选战之初，各方皆看好「许家班」、泛绿及独派支持的陈丽贞能顺利连任。但最终，由于扁政府弊案连连，且在选前两天张博雅指时任绿委蔡启芳公开扬言要消灭许家班，所以宣佈不支持陈丽贞，以致许家班票源倒流，陈丽贞也因此以一万多票之差落选。而国民党则因「许家班」