Robert Kovač ble født i Vest-Berlin, foreldrene var kroatiske gjestearbeidere fra Livno i Bosnia-Hercegovina. Han startet karrieren i mindre klubber som Rapide Wedding og Hertha Zehlendorf (1994–1995) før han debuterte i Bundesliga for FC Nürnberg i 1995. Deretter spilte han flere sesonger for Bayer Leverkusen (1996–2001) før han gikk til Bayern München i 2001. Fra 2005 spilte han to sesonger i Serie A for Juventus, og i juni 2007 tegnet han en toårskontrakt med Bundesligaklubben Borussia Dortmund.