באוגוסט 1941 מונה קרייזר לפקד על הארמייה ה-3, על אף שלא פיקד על קורפוס קודם לכן. הארמייה השתתפה בקרב סמולנסק ובקרבות להגנת מוסקבה. ב-1942 סיים קרייזר קורס מקוצר (בשל המלחמה) של האקדמיה הצבאית של המטה הכללי ומונה למפקד ארמיית העתודה ה-1, אשר לאחר מכן הפכה לארמיית המשמר השנייה, איתה השתתף בכיתור הכוחות הגרמנים בסטלינגרד. בפברואר 1943 הועלה יעקב קרייזר לדרגת גנרל-ליטננט. החל מאוגוסט 1943 ועד סוף המלחמה פיקד קרייזר על הארמייה ה-51, אשר השתתפה בשחרור אוקראינה המזרחית, חצי האי קרים, בלארוס והמדינות הבלטיות.