Toisen maailmansodan aikana 1941 NKVD:sta erotettiin sotilaallista turvallisuutta varjeleva osa, joka alistettiin maa-armeijalle ja laivastolle. Valtiollinen turvallisuus erotettiin omaksi "Valtion turvallisuuskansankomissariaatiksi" (lyh. "NKGB"). Saksan hyökättyä Neuvostoliittoon, NKGB:stä sekä maa-armeijan ja laivaston turvallisuusosista tuli uudelleen GUGB ja osa NKVD:tä. Vuonna 1943 nämä elimet erotettiin jälleen NKVD:sta ja nimettiin taas NKGB:ksi sekä Smeršiksi. Sodan aikana Stalin käytti salaisen poliisin yksiköitä rintamakarkureiden sekä vihollisen kaukopartiomiesten pysäyttämiseen (ja teloittamiseen) sekä laajojen väestön pakkosiirtojen toteuttamiseen.