Goltz besuchte die Kadettenhäuser in Kulm und Berlin. Während seiner Berliner Zeit war er 1836/37 Page beim Prinzen Wilhelm von Preußen. Anschließend wurde er am 5. August 1837 als überzähliger Sekondeleutnant der 6. Artilleriebrigade der Preußischen Armee überweisen. Zur weiteren Ausbildung absolvierte Goltz 1838/39 die Vereinigte Artillerie- und Ingenieurschule, wurde Anfang Januar 1840 zum Artillerieoffizier ernannt und Mitte Oktober 1843 in die Garde-Artilleriebrigade versetzt. Zugleich war er von Februar 1845 bis Ende September 1846 Lehrer an der Brigadeschule. Im Anschluss daran folgte eine Verwendung als Adjutant der I. Abteilung. Im März 1848 nahm Goltz an der Niederschlagung der Unruhen in Berlin teil. Unter Beförderung zum Premierleutnant folgte Ende März 1849 seine Versetzung in die 4. Artilleriebrigade. Bei der mobilen Festungs-Artillerie-Kompanie Nr. 1 kam Goltz im selben Jahr während des Krieges gegen Dänemark am Gefecht auf den Düppeler Höhen zum Einsatz und erhielt dafür den Roten Adlerorden IV. Klasse mit Schwertern.