Niko Kovač ble født i Vest-Berlin, foreldrene var kroatiske gjestearbeidere fra Livno i Bosnia-Hercegovina. Han startet karrieren i den lokale klubben Hertha Zehlendorf, og fikk plass på klubbens førstelag sommeren 1989, i en alder av 17 år. Sommeren 1991 gikk han til Hertha Berlin, der han begynte sin profesjonelle karriere i 2. Bundesliga.