En août 1943, alors que la situation des Allemands est de plus en plus désespérée, von Weichs est nommé commandant du groupe d'armées F dans les Balkans, pour bloquer une éventuelle invasion des Alliés, cette région étant considérée comme le point faible du territoire contrôlé par l'Allemagne, car des groupes de partisans locaux s'y battent et gagnent en force. À la fin de 1944, il supervise le repli allemand de la Grèce et de la majeure partie de la Yougoslavie.