Le NKVD comptait plusieurs dizaines de milliers d’agents, allant des miliciens (nom soviétique des policiers) judiciaires jusqu’à des militaires en passant par les gardiens du Goulag et les commissaires politiques. Le NKVD formait aussi les troupes d'élite assez fiables pour effectuer des missions très dangereuses comme les infiltrations ou les parachutages derrière les lignes ennemies. Ces unités sont à l'origine des "", forces spéciales soviétiques. Pendant la Seconde Guerre mondiale, le NKVD était chargé des camps de prisonniers de guerre, notamment polonais en 1939. C'est le NKVD qui exécuta le massacre de Katyń. Il avait ses propres divisions qui permettaient ainsi de maintenir son influence jusque sur la ligne de front, de faire appliquer les ordres du haut commandement et aussi de tirer sur les soldats de l'Armée rouge voulant refluer ou se rendre à l'ennemi. De ce fait, le rôle des unités du NKVD, qui ne combattaient, et dans le dos, que les soldats soviétiques, a été dénoncé après la guerre.