I början av andra världskriget var Mackensen stabschef i tyska 14:e armén vid invasionen i Polen i september 1939. Han blev senare stabschef i den 12:e armén vid strider i Frankrike och befordrades till generallöjtnant 1940. Två år senare fick han befälet över första pansararmén som han ledde i Tredje slaget vid Charkov i mars 1943.