Koniev dut vraisemblablement sa survie et son avancement au patronage de Vorochilov. En 1937, il devint député au Soviet suprême et en 1939 candidat au comité central du parti. Quand l'Allemagne nazie envahit l'Union soviétique, en , Koniev prit le commandement de la  dans la région de Vitebsk, et dirigea une série de batailles défensives pendant la retraite de l'Armée rouge, d'abord à Smolensk puis à proximité de Moscou. Il commanda le front de Kalinine d' à , y jouant un rôle essentiel dans les combats pour la défense de Moscou et dans la contre-offensive soviétique de l'hiver 1941-1942. C'est en raison de son action dans le succès de la défense de la capitale soviétique que Koniev fut promu colonel-général.