Sommeren 1996 gikk han til Bundesliga-klubben Bayer Leverkusen. Han debuterte 17. august 1996, da han kom inn som innbytter ved pause i en hjemmeseier (4-2) mot Borussia Dortmund. Den første sesongen spilte han 32 Bundesligakamper og scoret tre mål. De neste to sesongene ble han hovedsakelig brukt som reserve, og mistet flere kamper i sesonegn 1997-98 på grunn av en skade han pådro seg i klubbens hjemmekamp mot VfB Stuttgart i desember 1997. I løpet av sine tre sesonger i Bayer Leverkusen spilte Kovač 77 ligakamper og scoret åtte mål. For første gang i proffkarrieren spilte han på samme lag som sin yngre bror, Robert.