Pendant la Seconde Guerre mondiale, il commanda le "III. Armeekorps", devenu ensuite le "III. Panzerkorps". Puis la "1. Panzer-Armee" à partir du , alors engagée dans le Caucase à la suite de l'opération Fall Blau. À la suite de la deuxième phase de la contre offensive soviétique de Stalingrad, l'unité doit se replier fin janvier 1943 vers Rostov, puis est envoyée en Ukraine dans le secteur de Sloviansk par Erich von Manstein début février. Von Mackensen participe ainsi à la Troisième bataille de Kharkov. Après divers combats défensifs en été sur le Donetz puis en automne sur le Dniepr, il part commander la nouvelle "14. Armee" formée en Italie le