Nach dem Besuch der Gymnasien in Hannover und Hildesheim sowie dem Kadettenhaus in Hannover wurde Heimburg am 1. April 1857 als Kadett dem 5. Infanterie-Regiment der Hannoverschen Armee überwiesen. Bis Anfang Januar 1858 avancierte er zum Sekondeleutnant im 7. Infanterie-Regiment und stieg bis Ende September 1859 zum Premierleutnant auf, wofür er am 29. November 1859 das Patent erhielt. Als solcher nahm er 1866 am Krieg gegen Preußen teil. Nach dem verlorenen Krieg und der Annexion Hannovers trat Heimburg am 9. März 1867 als Premierleutnant in den Verband der Preußischen Armee über, wurde zunächst dem 2. Magdeburgischen Infanterie-Regiment Nr. 27 zugeteilt und Mitte Oktober 1867 in das Regiment einrangiert. Am 10. März 1870 stieg er zum Hauptmann und Kompaniechef auf. Während des Krieges gegen Frankreich war Heimburg vom 16. Juli 1870 bis zum 17. Juni 1871 zum II. Besatzungs-Bataillon des kombinierten Magdeburgischen Landwehr-Regiments kommandiert, nahm an der Belagerung von Toul teil und erhielt das Eiserne Kreuz II. Klasse.