V rokoch 1920 až 1921 člen ústredného výboru Komunistickej strany Ukrajiny a od r. 1921 do 1930 zároveň aj člen ústredného výboru Komunistickej strany Sovietskeho zväzu. Následne vykonával vysoké štátne funkcie, vrátane predsedu výboru ľudových komisárov, čo sa rovnalo funkcii predsedu vlády. Patril medzi blízkych spolupracovníkov J.V. Stalina. Bol jedným z najzanietenejších predstaviteľov čistiek a politických represií v 30. a 50. rokoch. Jeho podpis spolu s ďalšími sovietskymi predstaviteľmi (Stalinom, Berijom, Vorošilovom, Mikojanom, Kalininom a Kaganovičom) schválil likvidáciu zajatých poľských dôstojníkov známu ako Katynský masaker.