עם פרוץ מלחמת העולם השנייה בספטמבר 1939, היה קרזמן מפקד סוללת ארטילריה. הוא לחם במהלך המערכה בפולין כחלק מדיוויזיית הפאנצר הראשונה. בפברואר 1940 הוא מונה למפקד גדוד תותחנים אשר היה חלק מרגימנט התותחנים ה-78. הרגימנט לחם במהלך המערכה על צרפת ועל ארצות השפלה כחלק מדיוויזיית הפאנצר השביעית של ארווין רומל. באוגוסט 1940 הוא הועלה לדרגת אוברסט-לויטננט ומונה למפקד רגימנט התותחנים ה-33. הרגימנט שלו היה חלק מדיוויזיית הפאנצר ה-15 אשר נכללה במסגרת קורפוס אפריקה בפיקודו של רומל, ובפברואר 1941 נשלח למערכה בצפון אפריקה. הוא לחם במסגרת מבצע צלבן והמצור על טוברוק, וב-26 בדצמבר 1941 קיבל את צלב האבירים של צלב הברזל. בתחילת 1942 הוא הועלה לדרגת אוברסט. ב-15 במאי של אותה שנה, נפצע מפקד דיוויזיית הפאנצר ה-15 גוסטב פון ורסט, וב-28 בחודש מונה קרזמן למפקד הדיוויזיה באופן זמני. הוא פיקד על הדיוויזיה במהלך קרב גזאלה, ויחד עם דיוויזיית הפאנצר ה-21 כבש את טוברוק ולקח בשבי 35,000 חיילים של בעלות הברית. ב-15 ביולי הוחזר קרזמן לפקד על רגימנט התותחנים ה-33, והיינץ פון ראנדו נשלח לאפריקה וקיבל פיקוד על הדיוויזיה. הרגימנט שלו השתתף בקרב עלאם חלפה ולאחר מכן בקרב אל עלמיין השני. ב-17 בינואר 1943 נשלח קרזמן לגרמניה והועבר למילואים. לאחר שלושה חודשים הוא הועבר לחזית המזרחית כמפקד רגימנט התותחנים ה-166 אשר היה חלק מדיוויזיית הפאנצר החמישית. ב-1 בספטמבר של אותה שנה הוא הועבר לפקד על רגימנט התותחנים ה-143, עמו לחם בקרבות ההגנה בחזית המזרחית עד אפריל 1944 עת מונה למדריך צבאי בגרמניה. ב-6 ביולי הוא נשלח לחזית האיטלקית כמפקד הזמני של דיוויזיית הפאנצר ה-26. ב-18 ביולי מונה הנס בלזן למפקד הדיוויזיה, וקרזמן מונה לסגנו. בחודש שלאחר מכן מונה קרזמן למפקד הקבוע של הדיוויזיה. קרזמן פיקד על הדיוויזיה במהלך הקרבות על הקו הגותי כחלק מהארמייה השמינית. ב-1 באוקטובר 1944 הוא הועלה לדרגת גנרל מיור, וב-18 בדצמבר הוספו עלי אלון לצלב האבירים שלו. ב-29 בינואר 1945 הוא מונה למפקד קורפוס האס אס ה-12, ולחם עמו בחזית המערבית כחלק מארמיית הפאנצר החמישית. ב-27 בפברואר הוא קודם לדרגת גנרל-לוטננט. הקורפוס שלו נלכד בכיס הרוהר, וב-16 באפריל הוא נפל בשבי הבריטי. למרות זאת, ב-20 באפריל הוא קודם לדרגת גנרל חיל התותחנים.