Entrando in contatto con alcuni leader bolscevichi ucraini decise nel 1916 di entrare nel Partito Operaio SocialDemocratico Russo (bolscevico). Prese parte alla Rivoluzione di febbraio del 1917, divenendo un'autorità del comitato di Kiev del partito, e alla Rivoluzione d'ottobre dello stesso anno, in seguito alla quale venne arrestato e imprigionato. Liberato dopo il successo della rivoluzione, entrò in contatto con Lenin e divenne una figura importante all'interno del partito; per conto di esso svolse dei compiti di carattere militare, industriale o politico tra il 1918 e gli anni venti; viaggiò in Ucraina, Bielorussia e Siberia. Tra il 1926 e il 1935 contribuì allo sforzo finalizzato a risollevare l'economia delle zone più orientali dell'Unione Sovietica; giocò inoltre un ruolo rilevante nella riorganizzazione dell'Armata Rossa, della quale a partire dall'ottobre 1929 fu l'amministratore politico in capo, nell'ambito del programma del Maresciallo dell'Unione Sovietica Tuchačevskij che si poneva lo scopo di fare dell'URSS una grande potenza militare.