Etter suksess i felttogene i Polen (der han var med på erobringen av Warszawa) og Frankrike deltok han i operasjon Barbarossa i 1941, invasjonen av Sovjet, og ledet først en armé i sentralavsnittet. Denne ble så etterhvert dirigert sørover av Hitler, for å ta del i slaget om Kiev. I juni 1942 ble Weichs øverstkommanderende for en armégruppe som fikk i oppdrag å erobre Voronezj.