Balke var dragon i Søndenfjeldske Dragonregiment i 1801, korporal fra 1808 til 1814. I 1808 ble han utkommandert til Kongsberg og deltok i felttoget mot den svenske invasjonsstyrken i 1814.