Levtsjenko sluttet seg til den keiserlige russiske marinen i 1913. Han ble uteksaminert fra krigsskolen i 1914, og i 1916 ble uteksaminert som artillerioffiser. Han deltok i første verdenskrig, oktoberrevolusjonen og den den russiske borgerkrigen. Han var involvert i stormingen Vinterpalasset og kjempet mot Hvite styrker med general Nikolaj Judenitsj. Levtsjenko ble medlem av Sovjetunionens kommunistiske parti i 1919 og tok del i å slå tilbake mytteri i Krasnaja Gorka-fortet og Kronstadt-opprøret.