עם פרוץ המלחמה מונה והלר לקצין אג"ם הארמייה ה-14, והשתתף עימה במהלך המערכה בפולין. ב-18 בדצמבר 1939 מונה והלר לראש מטה הקורפוס ה-17, והשתתף עמו בשלב השני במערכה על צרפת כחלק מהארמייה ה-12 במסגרת קבוצת ארמיות A. ב-1 באוקטובר 1940 מונה והלר לראש מטה הארמייה ה-11, והשתתף עימה במהלך מבצע ברברוסה כחלק מקבוצת ארמיות דרום. ב-1 בינואר 1942 הועלה לדרגת גנרל מיור, וב-26 בינואר 1942 קיבל את עיטור הצלב הגרמני בזהב. ב-1 באפריל 1942 הוא מונה לראש מטה קבוצת ארמיות מרכז, וב-1 באוקטובר 1942 הועלה לדרגת גנרל לוטננט. ב-1 במרץ 1943 פרש מתפקידו, וב-1 באפריל 1943 מונה למפקד הקורפוס ה-1, שהיה חלק מהארמייה ה-18 במסגרת קבוצת ארמיות צפון. ב-1 ביוני 1943 הועלה לדרגת גנרל חיל הרגלים, ובאוגוסט 1943 השתתף עם הקורפוס שבפיקודו בקרב לדוגה השלישי, ועל פעולותיו בקרב קיבל ב-14 באוגוסט 1943 את עיטור צלב האבירים של צלב הברזל. ב-15 באוגוסט 1943 מונה למפקד פלגת הארמייה קמפף, שהפכה שבוע לאחר מכן לארמייה השמינית, שהייתה חלק מקבוצת ארמיות דרום, ולחם עימה במהלך קרבות הנסיגה מדרום אוקראינה לרומניה במהלך 1943–1944. באוקטובר 1944 השתתפו הכוחות שבפיקודו בקרב דברצן, במהלכו כותרו 3 קורפוסים ניידים סובייטים וספגו אבדות כבדות, ועל כך קיבל ב-28 בנובמבר 1944 תוספת עלי אלון לעיטור צלב האבירים של צלב הברזל, אולם היטלר סירב להעלותו לדרגת גנרל-אוברסט, משום שלא היה תומך של המפלגה הנאצית. ב-28 בדצמבר 1944 מונה והלר למפקד קבוצת ארמיות דרום, והנס קרייזינג החליף אותו בפיקוד על הארמייה השמינית. והלר פיקד על קבוצת הארמיות במהלך בלחימה במערב הונגריה עד ה-6 באפריל 1945. בסוף המלחמה נפל והלר בשבי בעלות הברית.