Pada permulaan Perang Dunia II, Mackensen bertugas sebagai Ketua Staf Tentera Darat Ke-14 Jerman dalam pencerobohan Poland pada September 1939. Kemudian, beliau dijadikan Ketua Staf Tentera Darat Ke-12 dan berjuang dalam Pertempuran Perancis. Pada 1 Januari 1940 beliau dinaikkan pangkat ke Generalleutnant dan lapan bulan kemudian ke "General der Kavallerie". Pada 15 Januari 1941 beliau dijadikan Panglima Kor III dibawah Tentera Darat Pertama Panzer di Kumpulan Tentera Darat Selatan, dan ketumbukan Mackensen adalah yang pertama tiba di Kiev semasa Pertempuran Kiev (1941). Apabila pada November 1942 Jeneral Paul Ewald von Kleist diberi memerintah Kumpulan Tentera Darat A, Mackensen mengambil alih pemerintahan Tentera Darat Pertama Panzer yang mana beliau pimpin dalam Pertempuran Kharkov Ketiga pada Mac 1943.