Konev meldte seg i 1916 som frivillig til de russiske styrker under første verdenskrig og var underoffiser i et artilleriregiment ved fronten i Galizia. Etter oktoberrevolusjonen i 1917 tjenestegjorde han i Den røde armé, ble medlem av det sovjetiske kommunistparti og kommissær for fylket Nikolsk. Under borgerkrigen fra 1918 til 1920 var han først kommissær ved et pansertog, så for en brigade. Konev kjempet i Fjerne østen-armeen mot de hvite styrker under Aleksander Vasiljevitsj Koltsjak og ved nedkjempelsen av matrosoppstanden i Kronstadt.