Burg absolvierte das Gymnasium und die Ritterakademie in Dom Brandenburg. Anschließend besuchte er die Kadettenanstalten in Potsdam und Berlin und wurde am 28. April 1849 als Sekondeleutnant der Garde-Artillerie-Brigade der Preußischen Armee überwiesen. Hier stieg er bis Mai 1861 zum Hauptmann auf. Am 1. April 1862 wurde er zur Erlernung der französischen Sprache nach Paris kommandiert und nahm von August 1862 bis Dezember 1863 an der Intervention von Kaiser Napoleon III. in Mexiko teil. In dessen Verlauf kämpfte er u. a. in der Schlacht bei Puebla und wurde am 5. April 1863 mit dem Kreuz der Ehrenlegion sowie am 19. Mai 1863 mit dem Roten Adlerorden IV. Klasse mit Schwertern ausgezeichnet.