W 1938 był zastępcą szefa Głównego Zarządu Bezpieczeństwa Państwowego LKSW ZSRR i szefem 3 Wydziału (kontrwywiadu), zaś od grudnia tego roku pierwszym zastępcą ludowego komisarza spraw wewnętrznych ZSRR i jednocześnie szefem Głównego Zarządu Bezpieczeństwa Państwowego (GZBP). W czasie agresji ZSRR na Polskę w 1939 nadzorował z Ukrainy koordynację działań grup operacyjno-czekistowskich na terytorium państwa polskiego. Wraz z Leonidem Basztakowem i Bogdanem Kobułowem wchodził w skład Kolegium Specjalnego NKWD, tzw. trójki NKWD ("Osoboje Sowieszczanije"). Był faktycznym kierownikiem operacji „rozładowania” obozów jenieckich i więzień w kwietniu i maju 1940 roku. Ponosi odpowiedzialność za masowy mord na polskich oficerach w Katyniu.