Jokanović begynte sin karriere i FK Novi Sad og gikk senere til FK Vojvodina som vant den jugoslaviske serien i 1989. I 1990 gikk han til FK Partizan hvor han vant serien i 1993 og cupen i 1992. Etter disse trofeene gikk han til den spanske klubben Real Oviedo, etterfulgt av opphold i klubbene CD Tenerife og Deportivo de La Coruña. Så dro han til England hvor han gikk fra Deportivo til Chelsea for 1,7 millioner pund. Han gikk så til den spanske klubben Ciudad de Murcia hvor han la opp i 2004.