Већ у 65. години живота за вријеме избијања Првог свјетског рата 1914. године, Макензенов 17. армијски корпус постаје дио њемачке 8. армије у Источној Пруској, под командом генерала Максимилијана фон Притвица и, 21 дан касније, генерала Паула фон Хинденбурга. Макензен је извијестио да се његов корпус пребацио у 25 км дугом маршу до ријеке Роминте (Краснаја) у року од педесет минута од пријема његовог наређења поподне 19. августа 1914, након што је Руска императорска војска напала Источну Пруску. Предводио је 17. корпус у биткама код Гумбинена, Таненберга и на Мазурским језерима 1914, у којима су Руси протјерани из већег дијела Источне Пруске.