En 1940, malgré un cuisant échec dans la guerre russo-finlandaise, il devint vice-commissaire du peuple à la Défense, poste pour lequel il ne semblait pourtant pas particulièrement qualifié. Il fut choisi par Staline en raison de ses liens amicaux et au fait qu'il ne chercherait pas à faire de l'ombre au dictateur.