Toinen maailmansota alkoi syyskuussa 1939 ja von Rundstedt kutsuttiin uudelleen johtamaan eteläistä armeijaryhmää menestyksekkään Puolan offensiivin aikana. Länsirintamalla hän kannatti Erich von Mansteinin ”panssarinyrkki”-lähestymistapaa Ranskan valloittamiseksi ja tämä taktiikka valittiinkin lopulta käytäntöön ("Fall Gelb"). Operaatiota varten hänen komentoonsa asetettiin seitsemän panssaridivisioonaa, kolme motorisoitua jalkaväkidivisioonaa ja 35 jalkaväkidivisioonaa. 14. toukokuuta 1940 mennessä Heinz Guderianin johtamat panssaridivisioonat olivat ylittäneet Maasin ja avanneet suuren aukon liittoutuneiden rintamaan. Von Rundstedtillä oli omat epäilyksensä näiden yksiköiden selviytymisestä ilman jalkaväen tukea, ja hän pyysi taukoa ottaakseen heidät kiinni. Adolf Hitler oli samaa mieltä ja tämä pieni viivytys olikin tarpeeksi brittiläisten ja ranskalaisten joukkojen pakenemiselle Dunkerquesta.