Pocházel z ruské rolnické rodiny na dalekém severu. Matka zemřela při porodu. Školní docházku absolvoval na farní škole ve svém rodišti, kde studoval s potěšením. Poté odešel v šestnácti letech z domova a pracoval jako lesní dělník a tesař, za první světové války byl v osmnácti odveden k dělostřelectvu a stal se poddůstojníkem. V roce 1917 se zúčastnil Kerenského ofenzívy v Haliči. Po vypuknutí Říjnové revoluce proti Kerenského vládě vstoupil Koněv do bolševické strany a začal organizovat rudogvardějskou jednotku ve svém rodišti. Až do jara 1918 působil jako vojenský komisař újezdu a zúčastnil se také 5. všeruského sjezdu sovětů v Moskvě. V létě 1919 během občanské války v Rusku působil jako komisař obrněného vlaku na sibiřské magistrále, v březnu 1920 se stal komisařem brigády a později divize ozbrojených sil Dálnovýchodní republiky, po jejím začlenění do Svazu sovětských socialistických republik pak byl jmenován komisařem 17. střeleckého sboru Rudé armády.