הארמייה הרביעית הוקמה לראשונה ב-15 בינואר 1905, במהלך מלחמת רוסיה–יפן, בפיקוד גנרל קאוואמורה קאגאקי, על בסיס הדיוויזיה ה-11, וכן דיוויזיות מילואים נוספות. הארמייה לקחה חלק חשוב בקרב מוקדן באותה שנה. בלילה שבין 18 בפברואר ל-19 בפברואר הארמייה החמישית פתחה במתקפה על האגף השמאלי של הרוסים. הרוסים לא עמדו במתקפה והחלו בנסיגה. לאחר קבלת תגבורות, ב-2 במרץ הם הצליחו לייצב את החזית. ב-24 בפברואר הארמייה השלישית היפנית הצטרפה למתקפה. רק ב-2 במרץ הצליחו הרוסים לייצב את החזית ולעצור את ההתקדמות היפנית. אולם במקביל שאר הכוח היפני תקף חזיתית והקרב הסתיים בניצחון יפני מוחץ שסיים את המלחמה. בינואר 1906 לאחר כניעת רוסיה פורקה הארמייה החמישית.