Döndüğünde Prilep kuzeye kaçmaya karar verdiği ve hayatından endişe ettiği için, bölgedeki Müslümanlarla çatışmaya girdi. İlk olarak Pirot şehrine ve ardından Niş şehrine giderek piskopos Melentije yardım etti. Mayıs 1821'de, Sırpların Yunan Kurtuluş Savaşı'ndan esinlenerek silahlanacaklarından korkan Osmanlılar, diğer birkaç din adamıyla birlikte piskopos Melentije'yi öldürdü. Novaković Sırbistan Prensliği'ne kaçmayı başardı ve burada iyi karşılanır ve önce Sveta Petka manastırının, daha sonra da Gornjak manastırının başrahibi olarak atandı.