Petrov se narodil v městečku Trubačevsk v Brjanské oblasti v rodině obuvníka Jefim Petrova. Jeho matka Jevdokija byla žena v domácnosti. Ivan Jefimovič měl ještě tři sourozence, bratra a dvě sestry. Nejstarší sestra Tatiana na něj naléhala aby začal studovat na chlapeckém gymnáziu. Do roku 1916 pak navštěvoval učitelský seminář ve městě Karačajevsk. V lednu roku 1917 začal studovat na poddůstojnické škole v Moskvě, kterou po půlročním výcviku ukončil a nastoupil do carské armády. Působil v řadách 156. Astrachaňského pěchotního pluku v hodnosti praporčíka. Ještě před nástupem na frontu onemocněl dyzentérií a po zdlouhavé léčbě byl propuštěn z armády. Na krátko se vrátil do rodného města, ale po tom, co se přiblížila fronta, rozhodl se odejít zpět k pluku do Astrachaně. Cestou k jednotce narazil na své bývalé spolubojovníky a odešel s nimi do Samary. V roce 1918 vstoupil do komunistické strany a Rudé armády. Zúčastnil se bojů během občanské války. Bojoval v oblasti Syzraně, Samary, Mcenska a Simbirsku proti československým legiím a ukrajinským kozákům na východní frontě v řadách 25. střelecké divize. Během bojů na Urale se oženil se Zojou Pavlovnou Jeftifejevovou. Od května 1920 sloužil na západním frontě který bojoval proti Polákům. Velel četě, byl předsedou vojenského soudu a komisařem pluku. Později velel různým jezdeckým jednotkám do velikosti brigády v rámci 1. jezdecké armády operující v Turkestánu. Pak velel horské střelecké divizi a aktivně se účastnil bojů proti basmačům.