Mùa thu năm 1914, Chiến tranh thế giới thứ nhất bùng nổ. Trong suốt 2 năm rưỡi theo sau đó, Mackensen tham gia chỉ huy quân đội Đức trong hầu hết các chiến dịch lớn trên Mặt trận Đông Âu. Thoạt tiên, Mackensen lãnh đạo Quân đoàn XVII chiến đấu ở Đông Phổ trong đội hình Tập đoàn quân số 8 vào tháng 8 – 9 năm 1914. Quân Nga tấn công Đông Phổ và đánh tan tác Quân đoàn XVII trong trận mở màn tại Gumbinnen ngày 20 tháng 8 năm 1914, khiến Mackensen phải tháo chạy về sông Wisla cùng toàn bộ Tập đoàn quân số 8. Nhưng Mackensen đã sớm hồi phục khỏi cú sốc bại trận này, sau đó ông hành quân gấp rút xuống hướng nam để tham gia bao vây, tiêu diệt Tập đoàn quân số 2 (Nga) của tướng Aleksandr V. Samsonov gần Tannenberg. Sau nhiều ngày hành quân không ngơi nghỉ (chỉ riêng trong ngày 25 tháng 8, Quân đoàn XVII đã vượt qua một lộ trình dài đến 48 km), ngày 29 tháng 8 quân Mackensen đã chiếm lĩnh được những vị trí thuận lợi mà từ đó họ có thể khóa chặt đường rút sang hướng đông của Tập đoàn quân số 2 (Nga). Trong 2 ngày tới, Mackensen và Quân đoàn XVII đã đập tan hàng loạt đợt phản kích của quân Nga, và đến ngày 1 tháng 9 trận Tannenberg khép lại với chiến thắng toàn diện của Tập đoàn quân số 8 (Đức), với hơn 90.000 sĩ quan, binh sĩ Nga bị bắt làm tù binh. Quân đoàn XVII bắt được 25.000 quân Nga và đây là quân đoàn thu được nhiều tù binh nhất trong đội hình Tập đoàn quân số 8 (Đức).