À la fin , Abakoumov est déplacé de Moscou à Rostov, où il devient rapidement le chef du NKVD de l'oblast de Rostov (cinquième oblast la plus peuplée de Russie). Il revient à la direction de Moscou le en tant que major principal de la Sécurité d'État, et après une nouvelle réorganisation du NKGB, il devint l'un des porte-paroles de Lavrenti Beria qui est alors commissaire au Peuple pour les Affaires intérieures (chef du NKVD). Le , il prend la tête du bureau spécial (OO) du NKVD, responsable du Contre-espionnage et de la Sécurité intérieure au RKKA (Armée rouge). Après l'invasion de l'Union soviétique par l'Allemagne nazie, en , et la série de défaites enregistrées par l'Armée rouge, cette position lui permet de mener, sur ordre de Staline, les purges contre les généraux de l'Armée rouge, accusés de trahison ou de lâcheté. Abakoumov a ainsi survécu aux Grandes Purges — en y participant ; il a exécuté chacun des ordres reçus.