1941年2月には人民委員会議副議長（副首相）に就任し、独ソ戦中もこの職にあった。彼の配属下にあった部隊は前線で脱走兵の処刑やスパイの摘発などで力を奮った。また、北カフカス地方に赤軍とNKVDを派遣しクリミア・タタール人その他国内の対独協力の嫌疑をかけられたドイツ系少数民族の強制移住を実行。その過程で多くの死者を出し、足手まといになる住民は問答無用に殺害してスターリンから要求された期限を厳守した。さらに、彼は悪名高いカティンの森事件の首謀者であり、シベリア抑留など外国人捕虜を収容する収容所を管轄する最高責任者でもあった。対ドイツ戦終結後の1945年7月9日にソ連邦元帥の階級を得て、翌1946年3月には党政治局員となる。