Unger besuchte das Lyzeum und die Polytechnische Schule in Karlsruhe. Am 1. April 1846 trat er als Regimentskadett in das 1. Linien-Infanterie-Regiment der Badischen Armee ein. Unger nahm 1848 an der Niederschlagung der Badischen Revolution und dem Feldzug in Schleswig-Holstein teil. Am 9. April 1850 kam er als Portepeefähnrich in das 9. Infanterie-Bataillon und avancierte dort Ende Juni 1850 zum Sekondeleutnant sowie Anfang November des Folgejahres zum Bataillonsadjutanten. Daran schloss sich ab 22. Oktober 1852 eine Verwendung als Adjutant des II. Bataillons im 4. Linien-Infanterie-Regiment an. Im Herbst 1856 folgte seine Beförderung zum Premierleutnant sowie die Ernennung zum Regimentsadjutanten. Vom 10. Dezember 1859 bis zum 20. Juni 1863 fungierte Unger als Aufsichtsoffizier und Lehrer am Kadettenkorps in Karlsruhe. Anschließend war er bis 23. Oktober 1864 Platzmajor in Karlsruhe und wurde dann mit der Beförderung zum Hauptmann Kompaniechef im 3. Linien-Infanterie-Regiment. In dieser Eigenschaft nahm Unger 1866 während des Krieges gegen Preußen an den Gefechten bei Hundheim, Werbach und Gerchsheim teil.