Landdagsvalgene og Europavalget i 2004 ble for CDU likevel alt i alt skuffende, noe flere mente skyldtes samarbeidet med regjeringen om reformer. De regjerende partiene gjorde imidlertid enda dårligere valg. 12. oktober annonserte Merz i et brev til «kjære Angela» at han trakk seg fra ledelsen i partiet og fraksjonen. 22. desember 2004 gikk Merkels generalsekretær Laurenz Meyer av, og ble etterfulgt av Volker Kauder.