Goltz wurde im April 1787 als Estandartenjunker im Husarenregiment seines Onkels Johann Wilhelm von der Goltz angestellt. Während des Rheinfeldzuges im Ersten Koalitionskrieg machte er die Schlacht bei Kaiserslautern sowie die Gefechte bei Schwalm, Hasnon, Edesheim und Morsheim mit. Goltz wurde am 7. September 1793 Sekondeleutnant und am 19. Januar 1794 für seine Leistungen mit dem Orden Pour le Mérite ausgezeichnet. Im Mai 1803 wurde Goltz Stabsrittmeister und Adjutant von Generalleutnant Blücher. Als solcher kämpfte er im Feldzug 1806 in der Schlacht bei Jena und Auerstedt und geriet bei Lübeck in französische Gefangenschaft. Ende des Jahres wurde Goltz ausgetauscht. Nach dem Frieden von Tilsit diente er kurzzeitig als Adjutant von Generalfeldmarschall Kalckreuth, ehe Goltz am 21. August 1807 wieder zu Blücher zurückkehrte. Im Jahr darauf wurde Goltz Adjutant beim Prinzen Wilhelm, den er nach Paris begleitete, um über die preußischen Kontributionen zu verhandeln. Er wurde dann im November 1809 im diplomatischen Dienst angestellt und zum preußischen Gesandten am bayerischen Hof in München ernannt. Goltz blieb jedoch aktiver Offizier.