גולץ ב-12 באוגוסט 1843 נולד בעיר ביילקנפילד שבפרוסיה המזרחית. כיום נמצאת העיר בתחומי רוסיה המודרנית. משפחתו הייתה משפחת אצולה מרוששת, ואביו ניסה את מזלו הן כקצין בצבא הפרוסי והן כחקלאי, ומת מכולרה כאשר קולמר היה בן שש. בשנת 1861 התגייס גם קולמר לצבא הפרוסי, והוצב כלויטננט ברגימנט הרגלים ה-41 (פרוסיה המזרחית ה-5). בשנת 1864 נרשם ללימודים באקדמיה הצבאית בברלין, אולם אלו הופסקו ב-1866 והוא נלקח לחזית כדי לקחת חלק במלחמת אוסטריה–פרוסיה. הוא נפצע בקרב טראוטנאו, ובשנת 1867 הוצב במטכ"ל הפרוסי במחלקת הטופוגרפיה. עם פרוץ מלחמת צרפת–פרוסיה ב-1870 צורף למטהו של פרידריך קרל, נסיך פרוסיה מפקד הארמייה השנייה. הוא השתתף בקרבות גרבלוט, ויוניל ומץ.