På klubbnivå startet Mihajlović karrieren i Jugoslavia, der han spilte for NK Borovo (1986–1988), FK Vojvodina (1988–1991) og Røde stjerne Beograd (1991–1992). Hans kanskje største klubbtriumf er seieren i europacupen i sesongen 1990/91 med Røde Sterjen Beograd. I semifinalen mot Bayern München, i Beograd, scoret Mihajlović et typisk frisparkmål. I finalen slo Røde Stjerne den franske klubben Olympique Marseille på straffespark etter at det stod 0-0 etter full tid. Mihajlović var blant straffeskytterne som scoret.