Novakovič begynte sin karriere med ungdomsfotball i den lokale klubben Olimpija Ljubljana, men meldte overgang til den østerrikske klubben ASK Voitsberg i 2002. Etter å ha spilt der i én sesong dro han videre til Mattersburg, hvor han også spilte én sesong, men med flere seriekamper. Sesongen etter dro han til storklubben LASK Linz, hvor han fikk én sesong med over 20 kamper, før han dro fra Østerrike og til den bulgarske klubben Litex Lovech.