Narodil se do rolnické rodiny Ivana Ivanoviče Jerjomenka (1872-1902) ve vsi Markivce v charkovské gubernii (nynější Ukrajina). Prameny o jeho národnosti se liší, buď byl Ukrajinec nebo Rus. Po vykonání základní vojenské služby byl v listopadu 1913 převelen do Ruské carské armády ke 168. Mirogorodskému pěšímu pluku, s nímž vstoupil do první světové války. Bojoval na rumunské frontě v Karpatech a na jihozápadní frontě, vyznamenal se v bitvě o Halič a roku 1914 byl povýšen na desátníka. V roce 1915 se podílel na obléhání a dobytí Přemyšle. Roku 1917 byl nejprve převelen ke zpravodajskému jízdnímu pluku. Po bolševické revoluci v Rusku roku 1917 byl demobilizován a vrátil se domů. Ve své rodné vsi založil partyzánský oddíl, se kterým bojoval proti německým okupantům a petljurovcům. Koncem roku 1918 vstoupil s partyzánským oddílem do řad Rudé armády. Zde působil jako náčelník rozvědky brigády a současně náčelník štábu pluku, účastnil se ruské občanské války a sovětsko-polské války.