Novak besuchte zwar das Gymnasium von Laibach, aber seine große Liebe zum Militär veranlasste ihn schon am 15. Januar 1790 als Kadett ins Infanterie-Regiment Nr. 26 einzutreten und die Türkenkriege mitzumachen, wo er unter anderem bei den Angriffen auf die Festung Czettin eingesetzt wurde. Nach Beendigung trat er als Praktikant in den Staatsdienst in Rudolfswerth ein. Doch befriedigte ihn diese Tätigkeit nicht. So gab er die mehrjährige Praxis auf und eilte beim Ausbruch der Kriege gegen Frankreich wieder unter die Fahnen. Dieser neue Eintritt datierte vom 18. Februar 1793, da er als Kadett zum Infanterie-Regimente Kaunitz Nr. 20 assentiert wurde. Nach vielen Belagerungen und Scharmützeln, die ihn wegen seines Einsatzes die Beförderung zum Leutnant am 22. März 1797 einbrachten, waren es die erste und zweite Schlacht von Zürich sowie die bei Hohenlinden, wo Novak – mittlerweile zum Oberleutnant vorgerückt – sein militärisches Geschick unter Beweis stellte. Im Juni 1805 zum Hauptmann, nun wieder im Infanterie-Regiment Hohenlohe-Bartenstein Nr. 26, befördert, kämpfte er in diesem bei der Armee in Italien. Dabei war er in der Schlacht bei Caldiero durch außergewöhnliche Entschlossenheit und Tapferkeit so erfolgreich, dass er nicht nur die öffentliche Anerkennung des Erzherzogs Karl erhielt, sondern als einer der jüngsten seiner Charge zum Major außer der Rangordnung avancierte. Auch erhielt er durch einstimmigen Kapitelbeschluss am 2. April 1806, bestätigt in der 71. Promotion vom 28. Mai des Jahres, das Ritterkreuz des Militär-Maria-Theresia-Ordens.