Am 28. Januar 1814 trat Heller diesen Posten an. Als Lieutenant machte er Ende 1814 den Winterfeldzug nach Frankreich mit und war u. a. an der Schlacht bei Arcis-sur-Aube beteiligt. Beim Feldzug 1815 wurde er schwer verwundet. Nach seiner Genesung nahm er 1817 seinen Abschied, weil er hoffte, eine Offiziersstelle in der österreichischen Armee zu erhalten. Als er in Wien erfahren musste, dass dies nicht möglich war, trat er kurz entschlossen als einfacher Kadett in das Sappeurkorps ein. Dieser Schritt gelang ihm dank der Fürsprache des Oberst Freiherrn von Pley. Am 31. Oktober 1818 meldete er sich in Bruck an der Leitha zum Dienst. Über elf Jahre lang diente er in diesem Truppenteil in einer sehr untergeordneten Stellung. Im Winter 1821 war seine Truppe am Feldzug nach Neapel und der folgenden mehrjährigen Besetzung beteiligt. Seine dienstlichen Obliegenheiten ließen Heller während dieses Aufenthalts genügend Zeit, das Land zu bereisen und archäologische Studien zu betreiben; er wurde sogar korrespondierendes Mitglied der "Akademie von Herculaneum".