לאחר סיפוח אוסטריה לגרמניה הצטרף רנדוליץ לוורמאכט, ובפלישה לפולין שימש כראש מטה הקורפוס ה-17. ב-15 ביוני 1940 באמצע המערכה על צרפת, מונה רנדוליץ למפקד הדיוויזיה ה-14, שהייתה בעתודת הOKH, וב-6 באוקטובר 1940 מונה למפקד הדיוויזיה ה-52, ופיקד עליה במהלך מבצע ברברוסה כחלק מהקורפוס ה-53 במסגרת הארמייה השנייה, ובמהלך הקרב על מוסקבה פיקד עליה כחלק מהקורפוסים ה-12, ה-43, וה-13 לסירוגין במסגרת הארמייה הרביעית. ב-1 בנובמבר 1942 מונה רנדוליץ למפקד הקורפוס ה-35, שהיה חלק מארמיית הפאנצר השנייה במסגרת קבוצת ארמיות מרכז, ופיקד עליו עד ה-15 באפריל 1943. ב-14 באוגוסט 1943 מונה רנדוליץ למפקד ארמיית הפאנצר השנייה שפעלה כנגד הפרטיזנים בבלקן. ב-25 במאי 1944 פיקד רנדוליץ על מבצע מוטס שיועד ללכוד את טיטו, וכמעט הצליח במשימתו. ב-25 ביוני 1944 הועבר רנדוליץ לסקנדינביה ומונה למפקד הארמייה ההררית ה-20 במקום גנרל אדוארד דיטל שמת, ופיקד עליה במלחמה כנגד הפינים שעברו לצד בעלות הברית, תוך שהוא משאיר אדמה חרוכה מאחוריו. ב-15 בינואר 1945 מונה למפקד קבוצת ארמיות קורלנד, וב-27 בינואר מונה למפקד קבוצת ארמיות צפון. ב-12 במרץ מונה שוב למפקד קבוצת ארמיות קורלנד, וב-5 באפריל מונה למפקד קבוצת ארמיות דרום, שהפכה לקבוצת ארמיות אוסטמארק ב-30 באפריל, והשתתף עימה בקרב על פראג.