Après la capitulation de la Pologne, et en préparation de la bataille de France, il est nommé commandant en chef de la , qui appartient au groupe d'armées A de Gerd von Rundstedt dans l'ouest. On lui attribue la croix de fer pour ses succès lors de la campagne de France et il est promu au rang de Generaloberst. Von Weichs participe à la campagne des Balkans avec son corps d'armée et il est placé à la tête de la du groupe d'armées Centre de Fedor von Bock, en préparation à l'opération Barbarossa, l'invasion de l'Union soviétique. Il dirige la , en 1941, lors de la bataille de Kiev et de la bataille de Smolensk, puis sur Viazma et Briansk.