Goltz besuchte das Berliner Kadettenhaus und wurde am 30. September 1819 als Sekondeleutnant der Garde-Artillerie-Brigade der Preußischen Armee aggregiert sowie am 21. April 1821 einrangiert. Zur weiteren Ausbildung war er 1823/26 an die Allgemeine Kriegsschule kommandiert. Als aggregierter Premierleutnant war er ab Anfang Februar 1832 Adjutant der 3. Artillerie-Inspektion. Unter Belassung in dieser Stellung stieg Goltz Anfang Mai 1839 zu Kapitän auf und wurde am 5. Juni 1841 Adjutant der Generalinspektion der Artillerie. Mitte November 1843 folgte seine Versetzung in die Adjutantur. Am 31. März 1846 wurde Goltz Major und Mitglied der Studienkommission der Artillerie- und Ingenieurschule sowie Mitglied der Prüfungskommission für Artillerie- und Ingenieurleutnants. Am 24. Januar 1847 wurde er mit dem Johanniter-Orden ausgezeichnet und Mitte Juni 1846 zum Mitglied der Militär-Studienkommission ernannt. Während des Feldzuges gegen Dänemark war Goltz als Begleiter des Prinzen Adalbert kommandiert. Unter Belassung in seiner Stellung als Adjutant der Generalinspektion wurde er am 2. April 1850 zum persönlichen Adjutanten des Prinzen ernannt. Mitte September 1852 schloss sich eine Verwendung als Kommandeur der Reitende Abteilung des Garde-Artillerie-Regiments an. In dieser Stellung wurde Goltz am 22. März 1853 Oberstleutnant und am 6. Mai 1853 mit dem Offizierskreuz des belgischen Leopoldsordens ausgezeichnet. Am 6. Juni 1854 wurde Goltz zum Kommandeur des 4. Artillerie-Regiments und in dieser Stellung Mitte Juli 1854 zum Oberst befördert.