Toisen maailmansodan aikana 1941 NKVD:sta erotettiin sotilaallista turvallisuutta varjeleva osa, joka alistettiin maa-armeijalle ja laivastolle. Valtiollinen turvallisuus erotettiin omaksi "Valtion turvallisuuskansankomissariaatiksi", lyh. NKGB. Saksan hyökättyä Neuvostoliittoon NKGB:stä sekä maa-armeijan ja laivaston turvallisuusosista tuli uudelleen GUGB ja osa NKVD:tä. Vuonna 1943 nämä elimet erotettiin jälleen NKVD:sta ja nimettiin taas NKGB:ksi sekä Smeršiksi (smert špionam – kuolema vakoojille). Sodan aikana Stalin käytti salaisen poliisin yksiköitä rintamakarkureiden sekä vihollisen kaukopartiomiesten pysäyttämiseen (ja teloittamiseen) sekä laajojen väestön pakkosiirtojen toteuttamiseen.