След като немците нахлуват в СССР през юни 1941 г., НКГБ СССР е разпуснато и на 20 юли 1941 г. е образувано ГУГБ НКВД СССР. Отделът по военно контраразузнаване е повишен от департамент на директорат. През април 1943 г. Директоратът на специалните департаменти е преобразуван в СМЕРШ. В същото време НКВД е намален по размер и отговорности и през 1943 г. е преобразуван отново в НКГБ СССР.