יעקב קרייזר נולד ב-4 בנובמבר 1905 בעיר וורונז' שברוסיה למשפחה יהודית. לאחר סיום בית ספר מקצועי בעירו בשנת 1923 התנדב לצבא האדום. באותה שנה התקבל לבית ספר לקציני חיל רגלים במוסקבה. לאחר סיום בית ספר לקצינים שירת בתפקידי פיקוד שונים בדיוויזיית הרובאים המוסקבאית ה-1, בה הגיע לתפקיד של מפקד רגימנט. בשנת 1939 מונה למפקד דיוויזיית הרובאים ה-172. בשנת 1941, כמה חודשים לפני פלישת הגרמנים לברית המועצות מונה למפקד דיוויזיית הרובאים המוסקבאית הממונעת ה-1.