הארמייה הוקמה עם פרוץ מלחמת העולם הראשונה בשנת 1914, ולמפקדה מונה אלכסנדר סמסונוב. יחד עם הארמייה הראשונה היא פלשה לפרוסיה המזרחית, ובתחילה נחלה ניצחונות ואילצה את הארמייה השמינית הגרמנית לסגת עד הוויסלה. עם זאת, הגרמנים הנחילו לארמייה השנייה תבוסה מוחצת בקרב טננברג, וסמסונוב התאבד. הארמייה לא הושמדה לחלוטין, ויחד עם עוד שלוש ארמיות זכתה בניצחון בקרב על הוויסלה. היא הובסה שוב בקרב לודז', ובתחילת שנת 1915 הועברה לאזור פולין. במרץ 1916 היא ביצעה את מתקפת אגם נארוץ' הכושלת. היא פורקה ב-1918.