El talento de Vasilevski no pasó desapercibido y en 1931 fue nombrado miembro de la Dirección de Adiestramiento Militar y en 1937, a raíz de la Gran Purga de Stalin, fue ascendido a oficial del Estado Mayor.