Al estallar la Primera Guerra Mundial en agosto de 1914 tras el "Atentado de Sarajevo", Mackensen se encontraba al mando del XVII Cuerpo de Ejército (desde 1908), adscrito al 8.º Ejército mandado por Maximilian von Prittwitz y posteriormente por Paul von Hindenburg, y tomó parte en las batallas de Gumbinnen y Tannenberg. En el mismo año de 1914 toma el mando del recién constituido 9.º Ejército, recibiendo además la orden "Pour le Mérite" por las actuaciones de su Ejército en la zona de Lodz y Varsovia. Entre abril y octubre de 1915 Mackensen se encuentra en la Galitzia austríaca al mando del 11.º Ejército, contribuyendo a la toma de Przemysl y Lemberg.