1922年内战与反对帝国主义干涉的战争结束后，科涅夫任滨海边疆区的步兵第17军政委。1924年8月红军大规模缩编复员，调任莫斯科军区驻下诺夫哥罗德的步兵第17师政委。受到时任莫斯科军区司令员的伏罗希洛夫的赏识，并建议科涅夫乘年轻改任军事指挥员。1926年科涅夫进入伏龙芝军事学院的高级指挥人员进修班。1927年学习期满后，回步兵第17师担任步兵第50团团长。1932年得到国防人民委员伏罗希洛夫推荐得以离职进入伏龙芝军事学院特别系学习。1934年12月毕业后，担任步兵第37师师长。1935年11月26日获得师级指挥员军衔。1937年改任步兵第2师师长。在1937年開始的大清洗中，科涅夫被調查出有偽造出身，他在1921年時修改自己出身自貧農，但所幸這份報告直到1938年史達林決定要止住逮捕潮時才送到有關機構。1938年2月22日获得军级指挥员军衔。苏联与日本的张鼓峰军事冲突后，1938年8月调任外蒙古，担任第57特别军军长，统一指挥驻蒙古所有苏军部队。1个月后，调任驻哈巴罗夫斯克的红旗第2独立集团军司令员。1939年2月8日晋升为二级集团军指挥员军衔。1940年6月4日，改为中将军衔，被任命为外贝加尔军区司令员。1941年1月，被任命为北高加索军区司令员。