A principios de la II Guerra Mundial en septiembre de 1939, Mackensen sirvió como jefe de estado mayor del 14º Ejército alemán en la invasión de Polonia. Después, fue hecho jefe de estado mayor del 12º Ejército y combatió en Francia. El 1 de enero de 1940, fue promovido a teniente general y ocho meses más tarde a "General der Kavallerie". El 15 de enero de 1941, Mackensen fue hecho comandante general del III Cuerpo de Ejército encuadrado en el 1º Ejército Panzer en el Grupo de Ejércitos Sur, y el 27 de julio de 1941, recibió la Cruz de Caballero de la Cruz de Hierro. Las fuerzas de Meckensen fueron las primeras en alcanzar Kiev en la Primera Batalla de Kiev durante la invasión alemana de la Unión Soviética. En noviembre de 1942, cuando el general Paul Ewald von Kleist recibió el mando del Grupo de Ejércitos A, Mackensen tomó el mando del 1º Ejército Panzer en la Tercera Batalla de Járkov en marzo de 1943. Por sus logros en la Segunda Batalla de Járkov, Mackensen fue honrado el 26 de mayo de 1943, con las Hojas de Roble añadidas a su Cruz de Hierro y se le concedió el ascenso a coronel general ("Generaloberst") el 6 de julio de 1943.