A soron következő Eb-selejtezőket sikerrel teljesítették, így a 2004-es labdarúgó-Európa-bajnokságon indulási jogot szereztek. Ott azonban győzelem nélkül már a csoportkör után kiestek. A torna után Völler lemondott, mivel a média folyamatosan bírálta. Ennek következtében a válogatott élére hat éven belül már a harmadik szövetségi kapitányt kellett megtalálnia a szövetségnek, holott azelőtt 75 évig mindössze hat szakvezető irányította a nemzeti csapatot. A lehetséges jelöltek között szerepelt Ottmar Hitzfeld és Otto Rehhagel is, valamint a korábbi válogatott Jürgen Klinsmann, aki ezt megelőzően soha sem töltött be vezetőedzői posztot. Az edzői tapasztalatok és a licenc hiánya miatt Joachim Löwöt nevezték ki mellé segítőnek. Klinsmann fő feladata az volt, hogy a hazai rendezésű 2006-os világbajnokságon jó eredményt érjen el a válogatottal. Klinsmannék első tornája a világbajnokságot felkonferáló 2005-ös konföderációs kupa volt, melyen rendezőként szerepeltek. A csoportmérkőzések során Ausztrália ellen 4–3-ra nyertek, Tunéziát 3–0-ra győzték le, Argentína ellen 2–2-es végeredmény született, így csoportgyőztesként jutottak be az elődöntőbe. Ott a brazilok ellen kétszer is hátrányba kerültek, amiket mindkétszer két perc alatt ledolgoztak, azonban a 76. percben esett brazil gólra már nem tudtak válaszolni. A bronzmérkőzésen Mexikóval találkoztak, és nyertek a hosszabbításban 4–3-ra. Németország Klinsmann vezetésével története első érmét szerezte meg a konföderációs kupán.