15 марта 1941 года при подготовке вторжения в Советский Союз Гитлер назначает фон Рока командующим тылового района группы армий 103 (), в будущем — группы армий «Юг», а 1 июля присваивает ему звание генерала инфантерии (пехоты). В сентябре—октябре фон Рок параллельно командует группировкой войск, в которую, среди прочего, входили итальянские и венгерские части, имевшей задачу удержания позиций на излучине Днепра. С началом наступления на Кавказ группа армий «Юг» была разделена на две части, а фон Рок возглавляет тыловой район группы армий «А». Однако уже в декабре 1942 года в рамках «омоложения» командного состава вермахта он переводится в резерв, а в марте следующего года окончательно увольняется с военной службы.