Tras la derrota de Stoiber en 2002, y como presidente de la CDU, se convirtió en la líder de la oposición conservadora en el Bundestag, la cámara baja, sustituyendo a Friedrich Merz.