ב-1 באוקטובר 1939 הוא מונה למפקד גדוד הניסויים של בית הספר לארטילריה, וב-1 בספטמבר 1940 הוא הועלה לדרגת אוברסט. ב-1 בדצמבר אותה שנה הוא מונה למפקד רגימנט הארטילריה ה-4, ולחם עמו במהלך מבצע ברברוסה כחלק מדיוויזיית הפאנצר ה-14. ב-8 בינואר 1942 הוא מונה למפקד אגד הארטילריה ה-10, וב-22 בפברואר אותה שנה הוא קיבל את עיטור צלב האבירים של צלב הברזל. ב-15 במאי 1942 מונה קוהלרמן למפקד הדיוויזיה הממונעת ה-60, וב-1 ביולי אותה שנה הוא הועלה לדרגת גנרל-מיור. קוהלרמן לחם עם הדיוויזיה במהלך מבצע מקרה כחול, ולאחר מכן בקרב סטלינגרד עד לנובמבר 1942.