I Forbundsdagsvalget 2005 fikk han sterk konkurranse om kanslervervet fra Angela Merkel. Valgresultatet viste at SPD og De grønne tapte sitt flertall i forbundsdagen, samtidig som de borgerlige ikke heller hadde flertall. De etterfølgende dagene var preget av et politisk vakuum. Etter sonderinger mellom SPD og CDU ble disse enige om å danne en storkoalisjon, hvorpå Schröder meddelte at han trakk seg tilbake fra tysk politikk.