Nikolai Yezhov
1938年8月、スターリンはNKVDの議長代理としてベリヤをモスクワに送り込んだ。NKVDはソヴィエト連邦の治安と警察権力を統轄する組織であった。当時NKVDは、内務人民委員部（1934年にGPUはここに統合された）の長官ニコライ・エジョフのもと、数百万人もの人々に及んだ大粛清として知られる「ソヴィエト連邦と人民の敵（とみなされた者）」の告発活動に従事していたが、粛清が余りに過剰であったため、ソヴィエト国家、経済、軍隊の基盤にダメージをもたらした。スターリンによる大粛清の最中、スターリンは粛清の実行者であったエジョフを遠ざけるようになり、代わってベリヤが1938年8月22日にエジョフの内務人民委員代理に任命され、徐々にエジョフに代わって粛清の指揮をとるようになる。11月25日には正式にエジョフが内務人民委員を解任されてベリヤが内務人民委員となり、エジョフやその配下の機関員たちを粛清して、大粛清の総仕上げにあたった。スターリンは、（エジョフによる）粛清の行き過ぎを抑える決定を下し、同年9月にベリヤがNKVD内の連邦治安管理局（GUGB）の長官に任命され、ついで11月にはエジョフの後任としてNKVDの議長となった（エジョフは1940年にベリヤの部下に尋問され、銃殺刑に処された）。また、NKVDの人員たちも粛清され、人員の半数が、コーカサス出身のベリヤに忠実な人物と入れ替わった。