עם פרוץ המלחמה היה פון מקנזן ראש מטה הארמייה ה-14, ולחם עימה במהלך המערכה בפולין. ב-1 בינואר 1940 הוא הועלה לדרגת גנרל לוטננט, ובמהלך המערכה על צרפת הוא כיהן כראש מטה הארמייה ה-12. ב-1 באוגוסט 1940 הועלה פון מקנזן לדרגת גנרל חיל הפרשים, וב-15 בינואר 1941 מונה למפקד הקורפוס הממונע ה-3. במבצע ברברוסה לחם פון מקנזן עם הקורפוס שבפיקודו כחלק מקבוצת הפאנצר הראשונה, במסגרת קבוצת ארמיות דרום, והשתתף עמו בקרב קייב ובקרב חרקוב הראשון, ועל הצלחתו בקרבות קיבל פון מקנזן ב-27 ביולי 1941 את עיטור צלב האבירים של צלב הברזל. ב-31 במרץ 1942 העביר פון מקנזן את הפיקוד על הקורפוס ללאו גייר פון שוופנבורג ויצא לחופשה קצרה, וב-20 ביולי 1942 חזר לפקד על הקורפוס שבינתיים הפך לקורפוס פאנצר, ופיקד עליו במהלך מתקפת הקיץ ובכלל זה בקרב חרקוב השני. על הצלחתו בקרב קיבל פון מקנזן תוספת עלי אלון לעיטור צלב האבירים. ב-21 בנובמבר 1942 מונה פון מקנזן למפקד ארמיית הפאנצר הראשונה, ופיקד עליה בקרב חרקוב השלישי, וב-6 ביולי 1943 הועלה לדרגת גנרל אוברסט.