En esclatar la Primera Guerra Mundial a l'agost de 1914 després de l'Atemptat de Sarajevo, Mackensen es trobava al comandament del XVII Cos d'Exèrcit (des de 1908), adscrit al 8è Exèrcit manat per Maximilian von Prittwitz i posteriorment per Paul von Hindenburg, i va prendre part a les batalles de Gumbinnen i Tannenberg. En el mateix any de 1914 pren el comandament de l'acabat de constituir 9è Exèrcit, rebent a més l'ordre "Pour li Mérite" per les actuacions del seu Exèrcit a la zona de Lodz i Varsòvia. Entre abril i octubre de 1915 Mackensen es troba a la Galítsia austríaca al comandament de l'11è Exèrcit, contribuint a la presa de Przemysl i Lemberg.