Goltz erhielt seine Ausbildung an der Altstädtischen Schule in Königsberg sowie am Kadettenhaus in Berlin. Am 28. Januar 1814 wurde er als Sekondeleutnant dem Leib-Garde-Grenadier-Bataillon der Preußischen Armee überwiesen. Ende September 1813 folgte seine Versetzung in das 1. Garde-Regiment zu Fuß. Während der Befreiungskriege wurde Goltz in der Schlacht bei Großgörschen verwundet. Er kämpfte an der Katzbach (sein Vater wurde hier schwer verwundet). Bei Leipzig wurde Goltz erneut verwundet und mit dem Eisernen Kreuz II. Klasse ausgezeichnet. 1814 wurde er in der Schlacht bei Paris erneut verwundet. Er kämpfte darüber hinaus auch in den Gefechten bei Hochkirch, Görlitz und Schkeuditz, wo er den Orden der Heiligen Anna III. Klasse erwarb. Ferner nahm er am Übergang bei Wartenburg teil.