Vid första världskrigets utbrott var Mackensen chef för 17:e armékåren, vilken var stationerad i Danzig, och ledde denna under operationerna på östfronten. Först i slaget vid Tannenberg i augusti och i slaget vid de Masuriska sjöarna i september 1914. I november blev Mackensen chef för 9:e armén. Efter framgångarna under vinterfälttåget i Polen blev han i mitten av april 1915 chef för 11:e armén och verkställde med denna genombrytningen under Gorlice–Tarnów-offensiven 1-3 maj 1915 och befriade, de av ryssarna i Galizien tidigare ockuperade städerna, Przemyśl 2 juni och Lemberg 22 juni.