בשנת 1932 יאקובובסקי גויס לצבא האדום והתחיל לשרת בחיל התותחנים. בשנת 1935 הוא סיים קורס קציני שריון והחל לשרת בחיל. כקצין שריון הוא השתתף בפלישה הסובייטית לפולין ב-1939 ובמלחמת החורף.