Kovačević startet karrieren i Zrenjanin-klubben FK Proleter, og allerede i en alder av 19 år ble det klart at man hadde med en storscorer å gjøre. I løpet av sine to sesonger i klubben scoret han mer enn et mål per annenhver kamp, og ble raskt plukket opp av storklubben Røde stjerne Beograd. Darko Kovacevic markerte seg umiddelbart, og ble et av europeisk fotballs største spiss-prospekter. Han fikk også sin første oppkalling til det Jugoslaviske landslaget. Etter å ha scoret utrolige 37 mål på 47 kamper, gikk turen til engelske Sheffield Wednesday i desember 1995 for 2 millioner pund.