בפרוץ המלחמה היה לנדגראף מפקד רגימנט הפאנצר ה-7, ופיקד עליו במהלך המערכה בפולין, כחלק מדיוויזיית הפאנצר ה-10. ב-15 באוקטובר 1939 הוא מונה למפקד חטיבת הפנצר ה-4, ולחם עמה במהלך המערכה על צרפת כחלק מדיוויזיית הפאנצר ה-10. ב-16 ביוני 1940 הוענק לו על פעולותיו עיטור צלב האבירים של צלב הברזל, וב-1 בספטמבר 1940 הוא הועלה לדרגת גנרל מיור. ב-6 בינואר 1941 הוא מונה למפקד דיוויזיית הפאנצר ה-6, ופיקד עליה לסירוגין במהלך הלחימה ברוסיה, וב-1 בספטמבר 1942 הוא הועלה לדרגת גנרל לוטננט. ב-1 באוגוסט 1943 הוא מונה למפקד דיוויזיית הפאנצר ה-155 מילואים בצרפת. ב-1 באוקטובר 1943 הוא הועבר לעתודת המילואים של הוורמאכט, וב-19 באפריל 1944 הוא מת בביתו בשטוטגרט.