Όταν ξέσπασε η Ρωσική Επανάσταση το 1917, επέστρεψε στην πατρίδα του, αλλά το 1918 εντάχθηκε στο κόμμα των Μπολσεβίκων και στον Κόκκινο Στρατό υπηρετώντας στο Πυροβολικό. Κατά τη διάρκεια του Ρωσικού Εμφυλίου Πολέμου, υπηρέτησε με τον Κόκκινο Στρατό στη Ρωσική Δημοκρατία της Άπω Ανατολής. Ο διοικητής του τότε ήταν ο Κλιμέντ Βοροσίλοφ, αργότερα στενός συνάδελφος του Ιωσήφ Στάλιν και του Κομισάριου για την άμυνα. Αυτή η σύνδεση ήταν το κλειδί για την επακόλουθη καριέρα του Κόνιεφ και την προστασία του κατά τη διάρκεια της Μεγάλης Εκκαθάρισης. Στα απομνημονεύματά του, έγραψε: «Μαζί με μια ομάδα απόστρατων, οργάνωσα την ανατροπή της διαχείρισης γης, τη δήμευση γεωργικής γης και τη φυλάκιση εμπόρων». Συμμετείχε στη βίαιη καταστολή της εξέγερσης της Κροστάνδης του 1921.