Nach dem Besuch des Gymnasiums in Danzig trat Hertzberg am 1. November 1839 als Musketier in das 5. Infanterie-Regiment der Preußischen Armee ein und avancierte bis Ende Februar 1842 zum Sekondeleutnant. Vom 9. April bis zum 14. Oktober 1846 war er zum Lehr-Infanterie-Bataillon und im Anschluss zur weiteren Ausbildung bis Mitte März 1848 an die Allgemeine Kriegsschule kommandiert. In dieser Zeit wurde er am 27. März 1847 in das Garde-Reserve-Infanterie-Landwehr-Regiment versetzt und am 1. November 1848 zum Bataillonsadjutanten ernannt. Am 2. Mai 1849 nahm Hertzberg seinen Abschied als Premierleutnant und trat als solcher am 7. Mai 1849 in mecklenburg-schwerinsche Dienste. Dort wurde er am 1. Oktober 1849 Adjutant im 2. Musketierbataillon. Er kam am 29. Oktober 1851 in das leichte Infanterie-Bataillon und wurde am 18. September 1852 zum Generalstab kommandiert. Dort wurde er am 6. April 1856 zum Hauptmann befördert und am 1. Juni 1857 als Kompaniechef in das Grenadier-Garde-Bataillon versetzt. Am 28. Juli 1858 kam er als Flügeladjutant zum Großherzog Friedrich Franz II. Am 5. Oktober 1860 zum Major befördert, nahm er als solcher 1864 während des Krieges gegen Dänemark an den Gefechten bei Oberselk, Nübel, Strup, Rackebüll und Veile sowie dem Sturm auf die Düppeler Schanzen teil. Dafür erhielt er den Roten Adlerorden III. Klasse mit Schwertern, das Militärverdienstkreuz und den Orden der Eisernen Krone III. Klasse mit Kriegsdekoration. Am 19. Juni 1864 nahm er seinen Abschied aus mecklenburgischen Diensten.