Када је нацистичка Немачка напала Совјетски Савез у јуну 1941, Коњев је преузео команду над 19. армијом у витебском региону и водио низ одбрамбених битака током повлачења Црвене армије, прво до Смоленска, а затим до периферија Москве. Командовао је Калињинским фронтом од октобра 1941. до августа 1942, при чему је имао кључну улогу у борби око Москве и совјетској противофанзиви током зиме 1941-42. Због свог учешћа у успешној одбрани совјетске престонице, Стаљин је унапредио Коњева у чин генерал-пуковника.