I 1938 ble Rendulic utnevnt til generalmajor, og da andre verdenskrig brøt ut tjenestegjorde han i Wehrmacht ved flere frontavsnitt, som Polen, Frankrike, Russland og Balkan. 26. juni 1944 ble han utnevnt til øverste sjef for den 20. bergarmé i Finland og Norge etter generalløytnant Eduard Dietl. Samtidig ble han utnevnt til generaloberst. Etter at Finland trakk seg ut av krigen den 4. september 1944, ledet Rendulic den tyske tilbaketrekningen i Nord-Finland (Lappland) og Nord-Norge.