Коли почалася Перша світова війна, Самсонов був викликаний з відпустки і поставлений на чолі 2-ї армії. Під час Східно-Прусської операції значна частина його армії була оточена в битві під Танненбергом німецькими військами під командуванням генералів Гінденбурга і Людендорфа. Близько 30 тисяч солдатів загинуло або отримало поранення; 95 000 взято в полон. Тривалий час вважалося, що вагому роль в поразці російської армії відіграв особистий конфлікт Самсонова з начальником 1-ї армії Павлом Ренненкампфом, який виник ще під час російсько-японської війни. Але це не так, тому що Самсонов з Ренненкампфом до 1914 року не був знайомий. Причинами поразки була недооцінка російським командуванням німців, а також прорахунки Ставки і командування Північно-західного фронту. При виході з оточення генерал, за найпоширенішою версією, покінчив з собою біля Вілленберга в Східній Пруссії. Утім, за іншими свідченнями, Самсонов загинув від вибуху снаряда.