Când Germania Nazistă a declanșat atacul împotriva Uniunii Sovietice în iunie 1941, Konev a preluat comanda Armatei a XIX-a din regiunea Vitebsk, în fruntea căreia a participat la o serie de lupte de apărare, retrăgându-se mai întâi la Smolensk, iar mai apoi în apropierea Moscovei. A fost comandantul Frontului Kalinin din octombrie 1941 până în august 1942, jucând un rol de primă importanță în luptele din jurul capitalei și în contraofensiva sovietică din iarna 1941-1942. Pentru succesele în luptele din jurul Moscovei a fost avansat la gradul de general-colonel.