Na die Duitse inval in die Sowjetunie in 1941 neem Konef aan 'n reeks groot veldtogte deel, waaronder die gevegte van Moskou en Rzhev. Konef het verder magte beveel oor groot Sowjet-offensiewe in Kursk, in die Dnjepr-Karpaten en Vistula-Oder-offensiewe. In Februarie 1944 word hy 'n marskalk van die Sowjetunie gemaak. In die vooraand van die Duitse nederlaag was Konev se 1ste Oekraïense front in kompetisie met die leërs van Georgi Zjoekof in 'n resies om Berlyn te beset. Konef was die eerste bevelvoerder van die Geallieerdes wat na die opstand van Praag, die hoofstad van Tsjeggo-Slowakye, binnegegaan het.