Novakovic kom til Sverige fra tidligere Jugoslavia hvor han hadde spilt for laget Dinamo fra Vinkovci. I Sverige spilte han først i Vasalunds IF og Djurgårdens IF før han kom til AIK, som er klubben han har blitt sterkest forbundet med. I tiden han spilte der fikk han blant annet SM-gull (1998), cupgull (1997, 1999) og spill i Mesterligaen. Novakovics mål mot FC Barcelona i Mesterligasesongen 1999-2000 på hjemmebane blir sett på som et av hans beste. Ved å lobbe ballen over målvakten gav han AIK ledelsen over de regjerende spanske mesterne. Målet ble vist om og om igjen på TV-kanaler verden over. Selv anser han det også som et av de beste minnene fra tiden i AIK sammen med målet over AEK Athen, som bidro til at AIK kom til Champions League. Cupgullet 1997 betyr også mye for ham, for det var det første han vant i svensk fotball. Siste gang som aktiv i svensk fotball var 27. oktober 2001 i kamp mot Malmö FF på Råsundastadion.