Goltz absolvierte das Altstädtische Gymnasium in seiner Heimatstadt und trat am 30. September 1847 als Füsilier in das 1. Infanterie-Regiment der Preußischen Armee ein. Mit der Versetzung am 19. September 1848 in das 1. Dragoner-Regiment wechselte er die Waffengattung und avancierte Mitte Januar 1850 zum Sekondeleutnant. Ab April 1859 wurde Goltz Regimentsadjutant, stieg Mitte Mai zum Premierleutnant auf und war im Sommer 1859 während der Mobilmachung anlässlich des Sardinischen Krieges Adjutant der 1. Division. Nach der Beendigung des mobilen Verhältnisses war er Adjutant der 2. Kavallerie-Brigade. Unter Beförderung zum Rittmeister wurde Goltz am 21. Februar 1863 als Eskadronchef in das Königs-Husaren-Regiment (1. Rheinisches) Nr. 7 versetzt. In dieser Eigenschaft nahm er 1866 während des Krieges gegen Österreich an den Kämpfen bei Hühnerwasser, Münchengrätz und Königgrätz teil.