しかし2004年3月、盧武鉉大統領の弾劾訴追案が、ハンナラ党などの賛成多数で可決したことに対する国民の反発がきっかけで党支持率が急落した責任を取り、代表の座を退いた。