Hans største triumf var sannsynligvis da han i 1940 ledet den midterste armegruppe A under slaget om Frankrike. Med sin underlagte pansergruppe krysset han raskt Meuse ved Sedan og kom raskere enn forventet fram til Kanalkysten ved Abbeville. Det er blitt hevdet at Rundstedt hadde stor innvirkning på Hitlers beslutning om å stanse fremrykningen ved Dunkerque, noe som førte til at britene klarte å redde store deler av sin felthær over til Storbritannia. Ved slutten av krigen var han øverstkommanderende for vest og hadde dermed oppgaven å forhindre den britisk-amerikanske invasjonen.