为北高加索军区司令员。1937年成为苏联最高苏维埃代表。1939年，在联共（布）十八大上成为候补中央委员。
第二次世界大战.当德军在1941年6月进攻苏联时，率领北高加索军区改编的第19集团军经过千里输送刚下火车准备驻防维捷布斯克，在行军间未及集结就与突入的德军装甲第3集群遭遇展开恶战。科涅夫较好地掌握了部队，有效抗击了德军装甲兵的突击，突出重围，随后率部参加了斯摩稜斯克战役。因此在1941年9月11日接替铁木辛哥为西方面军司令员，担负防守莫斯科方向的重任，9月12日晋升为上将