Bei Kriegsausbruch im August 1914 war Mackensen zunächst in Ostpreußen Kommandeur des XVII. Armee-Korps, das in der Schlacht bei Gumbinnen schwere Verluste (über 9000 Mann in nur zwei Stunden) erlitt. Er selbst sprach in seinen Erinnerungen von „Massenmord“ und „Massenschlächterei“. In der anschließenden Schlacht bei Tannenberg war Mackensens Korps an entscheidender Stelle an der Umfassung der russischen 2. Armee beteiligt. Ab 1. November 1914 führte er die 9. Armee und erhielt am 16. April 1915 den Oberbefehl über die neu gebildete 11. Armee. Mit dieser nahm er im Sommer 1915 an der Offensive in Polen teil. In der Schlacht von Gorlice-Tarnów (1. bis 3. Mai 1915) gelang seiner Armee ein überraschender Durchbruch durch die westgalizische Front der Russen, im Juni erzielte er einen weiteren Durchbruch bei Gródek und Magierów. Nach der Rückeroberung von Lemberg zum Generalfeldmarschall ernannt, nahm er im Sommer 1915 mit der nach ihm benannten Heeresgruppe an der weiteren Offensive in Polen teil.