V auguste 1938 mu bola zverená funkcia 1. zástupcu národného komisára vnútra. Podľa príkazov Stalina od konca septembra 1938 do januára 1939 uskutočnil masové zatýkanie v NKVD, prokuratúre a súdoch s cieľom zlikvidovať kádre svojho predchodcu Ježova. V rokoch 19391941 sa podieľal na realizácii deportácií obyvateľov Pobaltských republík, západného Bieloruska, Ukrajiny a Moldavska, ktoré boli pričlenené k ZSSR. Bol jedným z presadzovateľov likvidácie zajatých poľských vojakov, čo vyústilo do vraždenia v Katyni a na ďalších miestach.