Goltz var født i Bielkenfeld i Øst-Preussen (senere omdøpt til , nå Ivanovka i Kaliningrad oblast) i den lite velstående familien fra uradelsfamlien Goltz. Han vokste opp i familiesetet Fabiansfelde ved Preußisch Eylau som faren hadde kjøpt i 1844. Faren hadde tjent rundt 19 år i en prøyssiske hæren, uten å avansere lengre enn til løytnant, og hans resultater innen landbruket var tilsvarende svake og han døde av kolera under en reise til Danzig (i dag Gdańsk) da Colmar var seks år gammel.