Goltz đã gia nhập lực lượng bộ binh Phổ năm 1861 với quân hàm thiếu úy trong Trung đoàn Bộ binh số 41 (Đông Phổ số 5), đóng quân ở Königsberg (Kaliningrad ngày nay). Vào năm 1864 tại Thorn (Toruń), sau đó ông tham gia Học viện Quân sự Berlin, nhưng tạm thời rút lui vào năm 1866 để phục vụ quân đội trong cuộc Chiến tranh Áo-Phổ. Trong cuộc chiến này, ông bị thương tại Trautenau. Vào năm 1867, ông gia nhập Cục Đo đạc địa hình của Bộ Tổng tham mưu, và khi cuộc Chiến tranh Pháp-Đức (1870 – 1871), ông gia nhập bộ tham mưu của Hoàng thân Friedric Karl, tướng tư lệnh của "Binh đoàn thứ hai" của Phổ. Ông đã tham chiến trong các trận đánh tại Vionville và Gravelotte, và trong cuộc vây hãm Metz. Sau khi Metz thất thủ, ông phụng sự dưới quyền Hoàng tử Đỏ trong chiến dịch sông Loire, tham gia trong các trận đánh tại Orléans và Le Mans.