Goltz besuchte die Stadtschule in seiner Heimatstadt sowie die Kadettenhäuser in Bensberg und Berlin. Am 22. April 1847 wurde er als aggregierter Sekondeleutnant der 2. Artilleriebrigade der Preußischen Armee überweisen. Zur weiteren Ausbildung absolvierte Goltz 1847/49 die Vereinigte Artillerie- und Ingenieurschule und wurde Anfang Oktober 1849 mit der Ernennung zum Artillerieoffizier in die Brigade einrangiert. Nach einer dreimonatigen Kommandierung zur mobilen Kolonne Nr. 11 folgte ab September 1851 eine Verwendung als Adjutant der I. Abteilung. In gleicher Eigenschaft war Goltz ab Juli 1852 bei der Festungsabteilung und absolvierte dann von Oktober 1853 bis September 1856 die Allgemeine Kriegsschule. Als Premierleutnant wurde er im Juni 1858 zur topographischen Abteilung des Großen Generalstabes kommandiert. Bei der Mobilmachung anlässlich des Sardinischen Krieges erhielt Goltz das Kommando der mobilen 3. Munitionskolonne. Unter Beförderung zum Hauptmann erfolgte Ende Juni 1859 seine Versetzung in das 3. Artillerie-Regiment. Von Mai 1860 bis Januar 1862 war er nochmals zur topographischen Abteilung des Großen Generalstabes kommandiert. Anschließend war Goltz Adjutant des Gouvernements Magdeburg, bis er am 23. Oktober 1862 unter Stellung à la suite der 3. Artilleriebrigade gestellt und Lehrer an der Kriegsschule Engers wurde.