Goltz trat am 10. August 1817 in das 1. Infanterie-Regiment der Preußischen Armee ein und avancierte bis Ende November 1819 zum Sekondeleutnant. Für die Hilfeleistung und sein umsichtiges Verhalten während der Überschwemmungen Anfang 1832 in Ostpreußen wurde er Mitte Februar 1832 mit dem Roten Adlerorden IV. Klasse ausgezeichnet. Bis Ende November 1841 stieg Goltz zum Kapitän und Kompaniechef auf. Mit der Beförderung zum Major wurde er am 24. August 1848 Kommandeur des I. Bataillons im 18. Landwehr-Regiment und nahm im Jahr darauf am Feldzug gegen Dänemark teil. Am 10. September 1850 wurde Goltz als Bataillonskommandeur in das 5. Infanterie-Regiment versetzt. Nach der Beförderung zum Oberstleutnant folgte am 15. Juni 1857 seine Ernennung zum Kommandeur des 22. Infanterie-Regiments in Neisse. Goltz avancierte Mitte Oktober 1857 zum Oberst und wurde am 23. August 1860 unter Stellung à la suite seines Regiments zum Kommandeur der 28. Infanterie-Brigade in Wesel ernannt. In dieser Stellung stieg er Ende September 1860 zum Generalmajor auf. Als Generalleutnant war Goltz ab dem 25. Juni 1864 Kommandeur der 2. Division in Danzig, bis er am 30. November 1865 unter Verleihung des Sterns zum Roten Adlerordens II. Klasse mit Eichenlaub zur Disposition gestellt wurde.