Goltz gikk i det prøyssiske infanteriet i 1861 som sekondløytnant i 5. øst-prøyssiske infanteriregiment nummer 41 i Königsberg (dagens Kaliningrad). I løpet av 1864 var han på grensetjeneste i Thorn (Toruń), før han begynte på Det prøyssiske krigsakademiet i Berlin, men ble midlertidig trukket ut i 1866 for å delta i Den østerriksk-prøyssiske krig, hvor han ble alvorlig såret i skulderen under slaget ved Trautenau i Böhmen. I 1867 gikk han inn i typografi-seksjonen i den prøyssiske generalstaben, og samme år giftet han seg med godseierdatteren Therese Dorguth som han fikk fem barn med.