הארמייה השנייה הוקמה ב-27 בספטמבר 1894, וכמפקדה מונה איוואו אויאמה. תחת פיקודו, לחמה הארמייה במלחמת סין–יפן הראשונה, ולאחר שהמלחמה הסתיימה בניצחון יפני פורקה הארמייה. הארמייה הוקמה מחדש ב-6 במרץ 1904, ותחת פיקודו של הגנרל אוקו יאשוקאטה השתתפה במלחמת רוסיה–יפן. הארמייה השנייה לחמה ברוב הקרבות הגדולים של המלחמה, כולל קרב נאנשאן, קרב טליסו, קרב טאשיקאיו, קרב נהר שאה, קרב ליאויאנג, קרב סנדפו וקרב מוקדן. לאחר שגם מלחמה זו הסתיימה בניצחון יפני מוחץ, פורקה הארמייה בשנית.