У 1939—1941 роках Рундштедт був одним з трьох вищих воєначальників Німеччини, які очолювали групи армій, німецького Вермахту. Його бойові заслуги під час Польської 1939 і Французької 1940 років кампаній були вражаючими. Очолювані ним війська в обох цих кампаніях діяли на напрямку головного удару і внесли вирішальний внесок у швидкий і нищівний розгром спочатку Польщі, Франції та був. Успішно діяв Рундштедт і під час кампанії 1941 року на радянсько-німецькому фронті. Його війська завдали цілий ряд великих поразок Червоній Армії в Україні, але, врешті-решт зазнали поразки під Ростовом. Надалі вся бойова діяльність Рундштедта проходила на Західному фронті, де очолювані ним війська протистояли західним союзникам. Але тут у нього не вийшло діяти так успішно, як раніше. Його слава полководця вже наприкінці 1941 року неабияк потьмяніла. Гучних перемог, якими він прославився в 1939—1941 роках, тут вже не було, а були лише одні поразки. Зрештою, навіть Гітлер, який завжди зволив Рундштедту, був змушений визнати його неспроможність як головнокомандувача військами Західного фронту і за два місяці до завершення війни остаточно звільнив у відставку.