Od května 1940 velel Zabajkalskému vojenskému okruhu a v květnu 1941 byl jmenován velitelem záložní 19. armády na Ukrajině. Po napadení země nacistickým Německem se však v jejím čele musel přemístit do Běloruska, kde se zapojila do bojů o Smolensk. V září 1941 byl jmenován velitelem Západního frontu, jenž byl v následujícím měsíci naprosto zničen německými útoky při katastrofě u Vjazmy a jeho od trestu smrti zachránil později maršál Sovětského svazu Georgij Konstantinovič Žukov, který odvolaného Koněva odmítl zatknout a místo toho jej přijal do svého štábu, přestože až do bitvy u Kurska Žukov jeho velitelské schopnosti nehodnotil příliš vysoko. Od poloviny října 1941 velel Koněv vojskům Kalininského frontu, podařilo se mu zastavit německý postup, stabilizovat frontovou linii a v prosinci 1941 se jeho vojska zapojila do protiofenzivy u Moskvy.