Quando Schlieffen andò a riposo nel 1906, Mackensen venne guardato come un possibile successore, ma il posto fu assegnato a von Moltke. Allo scoppio della prima guerra mondiale, Mackensen comandava il XVII Corpo d'armata, facente parte dell'8ª Armata agli ordini prima di Maximilian von Prittwitz e poi di Paul von Hindenburg, e prese parte alle battaglie di Gumbinnen e di Tannenberg. Nel 1914 prese il comando della 9ª Armata appena costituita, e fu decorato con l'ordine "Pour le Mérite" per le azioni attorno a Łódź e Varsavia. Da aprile sino ad ottobre del 1915, Mackensen rimase in Galizia al comando dell'11ª Armata e fu il protagonista dell'Offensiva di Gorlice-Tarnów che si risolse in una schiacciante vittoria degli Imperi Centrali che riconquistarono la Galizia, comprese le importanti città di Przemyśl e Leopoli.