Goltz entrò quindi nella fanteria prussiana nel 1861 col grado di secondo luogotenente nel 41º reggimento della 5ª divisione di fanteria della Prussia orientale, di stanza a Königsberg. Durante il 1864 svolse dei compiti a Thorn (Toruń), per poi entrare nell'accademia militare di Berlino, ma venne temporaneamente a ritirarsi nel 1866 per prestare servizio nella guerra austro-prussiana, nella quale venne ferito a Trautenau. Nel 1867 aderì alla sezione topografica dello staff generale dell'esercito ed all'inizio della guerra franco-prussiana nel 1870 divenne "attaché" dello staff del principe Federico Carlo, comandante generale della II armata prussiana. Egli prese parte alle battaglie di Vionville e Gravelotte ed all'assedio di Metz. Dopo la fine della guerra, egli continuò a prestare servizio sotto il principe Federico Carlo nella campagna della Loira, ove combatté le battaglie di Orleans e Le Mans.