Měl malou, nevýraznou postavu, později tak kontrastující s jeho brutalitou. Nijak nevynikal inteligencí a získal pouze základní vzdělání. V letech 1909 až 1915 byl zaměstnán jako pomocník krejčího a jako dělník v továrně. Mezi roky 1915 a 1917 sloužil v ruské armádě. Několik měsíců před Říjnovou revolucí se připojil k bolševikům. Za ruské občanské války bojoval v Rudé armádě. Po únoru 1922 pracoval v politickém aparátu komunistické strany, většinou jako sekretář různých regionálních výborů strany. V roce 1927 byl přeřazen do distribučního a účetního oddělení komunistické strany a později se stal šéfem tohoto úřadu. Od roku 1929 do roku 1930 byl náměstkem lidového komisaře zemědělství. V prosinci 1930 byl jmenován hlavou několika oddělení strany: oddělení speciálních záležitostí, personálního a průmyslového oddělení. V roce 1934 byl zvolen do Ústředního výboru VKS(b) a od února 1935 do března 1939 byl také předsedou Ústřední komise stranické kontroly (velmi mocný a obávaný orgán, který prováděl čistky ve straně).