Byl synem c.k. polního podmaršála Franze Lattermanna (1716–1806), který byl v roce 1792 povýšen do stavu svobodných pánů. Od dětství byl připravován na vojenskou dráhu a do armády vstoupil jako kadet v roce 1766. Vyznamenal se již ve válce o bavorské dědictví (1778–1779), později vynikl budováním mostů na Dunaji během rakousko-turecké války (1787–1791). Postupoval v hodnostech (major 1786, podplukovník 1789, plukovník 1794), mezitím byl spolu s otcem povýšen do rytířského stavu (1782) a na barona (1792). Během válek s revoluční Francií bojoval na Rýně, později se vyznamenal u Janova a v roce 1797 dosáhl hodnosti generálmajora. Těžké zranění v bitvě u Marenga (1800) mu znemožnilo další aktivní službu v poli, ale nadále zastával vysoké funkce v armádě.