Jako żołnierz Burger wziął udział w kampanii przeciwko królowi Sekhukhune w 1876 roku oraz w I wojnie burskiej (1880-1881), podczas której służył jako trębacz. W 1885 roku został dowódcą oddziału wojskowego z Lydenburga.