Da Nazi-Tyskland angrep Sovjetunionen i juni 1941, ble Konev tildelt kommandoen over den 19. armé i Vitebsk-regionen, og han ledet en rekke defensive slag under retretten til Den røde armé, først til Smolensk, og deretter til Moskva. Han spilte en sentral rolle i kampene rundt Moskva og den sovjetiske motoffensiven ved årsskiftet 1941–1942. For sin rolle i den vellykkede forsvaret av den sovjetiske hovedstaden, ble Konev forfremmet til generaloberst av Josef Stalin.