Kafkasya Bölgesinde üstlendiği parti sorumluluğunun artmasıyla beraber 1934 yılında Merkez Komitesi'ne seçildi. Sergey Kirov'un aynı yıl öldürülmesinden sonra yapılan tasfiye hareketinde yer aldı. Stalin tarafından Moskova'ya çağrılarak İçişleri Halk Komiserliği NKVD'nin başına getirildi. 1939 yılında Politbüro aday üyesi oldu. 1939 yılında Nazi Almanya'sının Polonya'yı işgal etmesinden sonra Alman-Sovyet Saldırmazlık Paktı kapsamında Kızılordu Polonya sınırını geçti. Bu sırada yakalanan ve tutsak edilen Polonyalı subaylar ve esir askerler, hapise atılırlar. NKVD'nin en bilinen kapsamlı eylemi tutsak alınan Polonyalı asker, subay, arazi sahibi, entelektüel, memur, akademisyen, profesörlerden oluşan savaş esirlerinden yaklaşık 22,000 inin katledilmesi olayıdır (Katyn Katliamı). 1990 yılında Mihail Gorbaçov, Polonya Devlet Başkanı Lech Wałęsa'ya Stalin imzalı katliam emir belgelerini bizzat sunarak resmî anlamda bu katliamı Stalin dönemi katliamlarından biri olarak suçlamıştır.