Nach Ausbruch des Zweiten Weltkriegs am 1. September 1939 diente Mackensen als Chef des Stabes der 14. Armee. Am 1. Januar 1940 wurde er zum Generalleutnant befördert. Nach seiner Beförderung zum General der Kavallerie am 1. August 1940 wurde er am 15. Januar 1941 Kommandierender General des III. Armeekorps. Im Rahmen der Heeresgruppe Süd eingesetzt, erhielt Mackensen am 27. Juli 1941 das Ritterkreuz des Eisernen Kreuzes. Am 22. November 1942 wurde er Befehlshaber der 1. Panzerarmee. Infolge der Kesselschlacht bei Charkow wurde Mackensen am 26. Mai 1942 mit dem Eichenlaub zum Ritterkreuz ausgezeichnet und am 6. Juli 1943 zum Generaloberst befördert. Ab dem 5. November 1943 diente Mackensen als Oberbefehlshaber der in Italien neu aufgestellten 14. Armee.