Von der Goltz wuchs auf dem Gut Fabiansfelde bei Preußisch Eylau auf, das sein Vater 1844 nach dem Verkauf des Gutes Bielkenfeld erworben hatte. 1861 ging Goltz zur Infanterie, 1864 besuchte er die Kriegsakademie in Berlin. 1866 nahm er am Deutschen Krieg gegen Österreich teil und wurde in der Schlacht bei Trautenau schwer an der Schulter verwundet. 1867 wurde Goltz Mitglied im preußischen Generalstab. Im selben Jahr heiratete er die Gutsbesitzerstochter Therese Dorguth, mit der er fünf Kinder hatte. Als 1870 der Deutsch-Französische Krieg begann, diente er im Stab von Friedrich Karl Nikolaus von Preußen.