À partir de septembre 1828, Goltz étudie aux écoles de cadets de Culm et de Berlin. Il est ensuite transféré au régiment de grenadiers de l'armée prussienne en tant que second lieutenant le 14 août 1834. Avec ce régiment, Goltz participé aux batailles de Schleswig et d'Appenrade en tant que premier lieutenant pendant la guerre contre le Danemark en 1848. Après son déploiement, Goltz est transféré au régiment de la Landwehr de la Garde le 18 novembre 1848 et sert comme commandant de compagnie au sein du . Six mois plus tard, il rejoint à nouveau le régiment de la Garde-Landwehr en tant que commandant de compagnie et prend part à la répression de la Révolution de Bade. Goltz participé à des combats à Wiesenthal, , Neudorf et Kuppenheim et reçoit pour ses exploits le 20 septembre 1849 l'ordre de l'Aigle rouge de classe avec des épées. Peu de temps après, Goltz retourne au de grenadiers. Après un commandement de trois mois en tant qu'officier d'état-major au sein de la 2e division de la Garde est finalement promu capitaine le 14 octobre 1851 et nommé simultanément commandant de compagnie. En 1857, il est transféré au , puis il a rejoint l'état-major général du en tant que major le 8 mai 1858, ainsi que l'état-major général de la d'infanterie. En mai 1862, Goltz retourne au service des troupes et reçoit le commandement du du en tant que lieutenant-colonel.