Na het einde van de Eerste Wereldoorlog bleef Von Weichs in de Reichswehr, het leger van de Weimarrepubliek. In de Wehrmacht diende hij tijdens de Tweede Wereldoorlog onder meer in de Poolse Veldtocht en de Slag om Frankrijk. Voor zijn successen in de invasie van Frankrijk werd hij bevorderd tot kolonel-generaal. Daarna vocht Von Weichs nog in de Joegoslavische campagne, Operatie Barbarossa en Fall Blau. Het was Weichs' taak om onder meer Stalingrad in te nemen. Toen Von Weichs zich bij Hitler beklaagde over de oorlogsplannen in het oosten, negeerde deze hem. Toen Weichs voorstelde de Duitse troepen uit Stalingrad terug te trekken, viel hij uit de gratie bij Hitler.