Heimburg besuchte das Mariengymnasium Jever und trat mit Beginn des Krieges gegen Frankreich am 23. Juli 1870 als Freiwilliger in das Ersatz-Bataillon des Oldenburgischen Infanterie-Regiments Nr. 91 der Preußischen Armee ein. Am 3. September 1870 wurde er zur mobilen 8. Kompanie des Regiments versetzt und nahm an den Belagerungen von Metz und Thionville, den Schlachten bei Beaume-la-Rolande und Le Mans sowie den Gefechten bei Ladon, Cravant, Chateau Serqueu, Montoire und St. Jean teil.