Landslaget kunde inte knyta an till framgångarna i VM 2002 utan hade stora problem att kvalificera sig till EM i Portugal 2004. I EM gick laget inte vidare från gruppspelet. Tyskland tog nu 2 poäng, men det räckte inte till mer än en tredjeplats i gruppen och Völler avgick som förbundskapten. Völlers gamla anfallskamrat, världsmästaren 1990 Jürgen Klinsmann tog över sedan flera tränare (bland annat Ottmar Hitzfeld) tackat nej till jobbet. Klinsmann genomförde en stor generationsväxling inför VM 2006 där Tyskland var direktkvalificerat som värdland och Klinsmann kunde i lugn och ro bygga upp sitt nya lag.