Narodil se ve vesnici Kalinovka v Kurské gubernii, asi 11 km východně od ukrajinských hranic. V mládí pracoval jako kovodělník a během Ruské občanské války působil jako politický komisař (politruk) v armádě bolševiků. S pomocí Lazara Kaganoviče postupně stoupal v sovětské hierarchii. Podporoval Stalinovy čistky a schválil zatčení tisíců lidí. V roce 1939 jej Stalin poslal vládnout na Ukrajinu, kde pokračoval v čistkách. Během druhé světové války (v SSSR známé jako Velká vlastenecká válka) byl vysoce postaveným politrukem a působil jako prostředník mezi Stalinem a jeho generály. Byl přítomen v těžkých bojích při obraně Stalingradu, na což byl pak po celý život hrdý. Po válce se vrátil na Ukrajinu, později pak zpět do Moskvy jako jeden ze Stalinových blízkých poradců.