Askeri bir ailenin çocuğu olarak doğan Von Hiller, Saksonya alayında askeri öğrenci ve Württemberg Dragoons alayında teğmen olarak görev yaptı, daha sonra 1774'de sınır alayında subay oldu. Hiller, Bavyera Veraset Savaşı sırasında Prusya'ya karşı savaştı (1778-1779). Daha sonra 1787-1791 Osmanlı-Avusturya Savaşı'na katıldı. 1788'de teğmen albay olarak atandı. Mareşal Ernst Laudon'a genel yardımcı olarak hizmet etti, sonra sınır alayına komuta etti.