1914 augusztusában először a német 8. hadsereghez tartozó XVII. hadtest "(Armeekorps)" parancsnokává nevezték ki, amely a gumbinneni csatában rendkívül súlyos vereséget szenvedett Rennenkampf orosz tábornok erőitől. Mackensen hadteste szenvedte el a legnagyobb veszteségeket (9000 embert mindössze két óra alatt). Emlékirataiban maga Mackensen is „tömeggyilkosságot”, „tömegmészárlást” említ. Ennek ellenére csapatait vasúton gyors ütemben át tudta csoportosítani, és augusztus végén sikerült bekerítenie Szamszonov orosz tábornok előrenyomuló hadoszlopait. A gumbinneni csatát követő második tannenbergi ütközetben Mackensen döntő helyzetbe manőverezte a IX. hadtestet, és meghatározó szerepet játszott az orosz 2. hadsereg bekerítésében és megsemmisítésében. A reménytelen helyzetbe jutott Szamszonov augusztus 30-án főbe lőtte magát.