Fue entrenador de la selección alemana entre 2000 y 2004, disputando la Copa Mundial de Fútbol de 2002, donde en gran campaña y en plena renovación del fútbol alemán, logró el subcampeonato, perdiendo la gran final ante el poderoso por 2-0. Estuvo a punto de lograr la hazaña del gran Franz Beckenbauer, que ganó la Copa del Mundo como técnico y como jugador. Decidió dimitir tras la eliminación en la Eurocopa 2004.