Començà la seva formació militar el 1919, però sovint era reclamat per l'Exèrcit Roig i havia d'abandonar els estudis. Es graduà el 1921 i va ser nomenat cap d'estat major d'una divisió estacionada al Turkmenistan. Durant una batalla prop de Samarkand va ser ferit i posteriorment condecorat per valentia. Després de la Guerra Civil Russa ocupà diverses posicions d'Estat Major, arribant a ser Cap de l'Estat Major del Districte Militar de Moscou i llavors Adjunt al Cap de l'Estat Major General, posició que ocupava a l'inici de l'Operació Barba-roja, la invasió alemanya de la Unió Soviètica.