เยอรมนีตกรอบแรกในฟุตบอลยูโร 2004 ณ ประเทศกรีซ โดยเสมอ 2 นัด และแพ้ต่อทีมเช็กเกียในรอบแบ่งกลุ่ม ส่งผลให้ รูดี เฟิลเลอร์ลาออก และเยือร์เกิน คลีนส์มัน เข้ามารับช่วงต่อ เขาพาทีมผ่านเข้าถึงรอบรองชนะเลิศในฟุตบอลโลก 2006 ที่เยอรมนีเป็นเจ้าภาพโดยแพ้ให้กับทีมชาติอิตาลีในรอบรองชนะเลิศในช่วงต่อเวลาพิเศษ 0–2 แต่พวกเขาสามารถคว้าอันดับสามได้โดยเอาชนะทีมชาติโปรตุเกส 3–1