Bei Beginn des Krieges gegen die Sowjetunion am 22. Juni 1941 waren Weichs und seine 2. Armee im Verband der Heeresgruppe Mitte eingesetzt. Für die Schlacht um Kiew wurden die 2. Armee und die Panzergruppe 2 zeitweilig nach Süden abgedreht. Im Juni 1942 wurde Weichs zum Oberbefehlshaber einer nach ihm benannten Armeegruppe ernannt, die den Auftrag erhielt, Woronesch einzunehmen. Mitte Juli 1942 übernahm er anstelle des abgesetzten Fedor von Bock die Führung der neu gebildeten Heeresgruppe B, mit der er das Unternehmen Braunschweig, den Vorstoß nach Stalingrad, durchführen sollte. Nach den Erfolgen der sowjetischen Operation Uranus in der Schlacht von Stalingrad bildete der südliche Teil seiner Heeresgruppe die neue Heeresgruppe Don, die jedoch bereits im Winter 1942/43 durch Gegenoffensiven der Roten Armee praktisch zerschlagen und aufgelöst wurde. Am 1. Februar 1943 wurde Weichs dennoch zum Generalfeldmarschall ernannt und im Juli 1943 in die Führerreserve versetzt.