Après une période de cinq ans au Bayer Leverkusen puis à Hambourg SV, Kovac a finalement rejoint le Bayern Munich en 2001. Il remporte la Coupe Intercontinentale lors de sa première saison, suivie de la Bundesliga et de la Coupe d'Allemagne lors de sa deuxième saison en 2003.