הארמייה השנייה הוקמה בפרוץ מלחמת העולם הראשונה, ולמפקדה מונה אדוארד פון בהם-ארמולי. הארמייה נשלחה לסרביה, אולם בעקבות הפלישה הרוסית לגליציה, הועברה לחזית המזרחית. הארמייה לחמה בקרב גליציה, אך הגיעה מאוחר מכדי לשנות את התוצאות. לאחר מכן השתתפה הארמייה בקרב על הוויסלה ובמתקפת הקרפטים. בקיץ 1915 השתתפה הארמייה במתקפת גורליצה-טרנוב, ביולי השתתפה בקרבות הנסיגה הגדולה, וב-22 ביוני 1915 כבשה את לבוב. לארמייה היה חלק נכבד בבלימת מתקפת ברוסילוב ביוני 1916, ומתקפת קרנסקי ביוני 1917. ב-3 באוגוסט של אותה השתתפה יחד עם כוחות גרמניים בכיבוש צ'רנוביץ. בפברואר 1918 השתתפה במבצע אגרוף במסגרתו פלשו כוחות גרמניים ואוסטרו-הונגריים לאוקראינה. הארמייה פורקה במאי של אותה שנה, ועל בסיסה הוקם כוח כיבוש שנקרא "ארמיית המזרח".