Gebore aan 'n boeregesin, word Konef in 1916 in die keiserlike Russiese leër ingewy en veg hierna in die Eerste Wêreldoorlog. In 1919 sluit hy by die Bolsjewiste aan en dien tydens die Russiese burgeroorlog in die Rooi Leër. Nadat hy in 1926 aan die Frunze Militêre Akademie gegradueer het, vorder Konef geleidelik deur die geledere van die Sowjet militêre strukture. Teen 1939 word hy 'n lid van die Sentrale Komitee van die Kommunistiese Party.
Ná die Duitse inval in die Sowjetunie in 1941 neem Konef aan 'n reeks groot veldtogte deel, waaronder die gevegte van Moskou en Rzhev. Konef was die bevelvoerder tydens groot Sowjet-offensiewe in Kursk, die Dnjepr-Karpaten en Vistula-Oder. In Februarie 1944 word hy bevorder tot 'n maarskalk van die Sowjetunie. Op die vooraand van die Duitse nederlaag was Konev se 1ste Oekraïense front in kompetisie met die leërs van Georgi Zjoekof in 'n poging om Berlyn te beset. Konef was die eerste bevelvoerder van die Geallieerdes wat na die opstand van Praag, die hoofstad van Tsjeggo-Slowakye, binnegegaan het.
Na die oorlog is Konef deur Zjoekof vervang as bevelvoerder van die Sowjet-landmagte. In 1956 word hy aangestel as bevelvoerder van die gewapende magte van die Warskou-verdragslande, en lei hy die gewelddadige onderdrukking van die Hongaarse Rewolusie van 1956. Konef het tot sy dood in 1973 'n gewilde militêre figuur in die Sowjetunie gebly.