Военную службу начал в 1841 году рядовым в гренадерском полку императора Франца I. В 1845 г. произведён в прапорщики с назначением в Апшеронский полк, который вскоре был отправлен на Кавказ. Здесь исключительно за военные отличия против горцев Штанге был произведён во все чины до подполковника включительно. Будучи командиром батальона Ширванского пехотного полка, Штанге, в чине майора, участвовал, между прочим, 25 августа 1859 г. при штурме крепости Гуниба и пленении Шамиля и за отличие был награждён 28 октября того же года орденом Св. Георгия 4-й степени (№ 10165 по списку Григоровича — Степанова)