En 1921, dans le cadre de la répression de Kronstadt, il est l’officier chargé de l’enquête sur l’« organisation militante de Petrograd », dirigée par le professeur Tagantsev. L’enquête, en fait un complot monté de toutes pièces par la police secrète, se solde par l’exécution de 85 personnes, dont le poète Nikolaï Goumilev. Agranov participe ensuite à la répression de la révolte paysanne de Tambov. En 1934, à la suite du meurtre de Sergueï Kirov à Léningrad, il dirige les interrogatoires des dirigeants mis en cause durant les Procès de Moscou : Kamenev, Zinoviev et Boukharine (anciens membres du Politburo), Rykov (ancien président du Conseil des commissaires du peuple) et le maréchal Toukhatchevski. Il crée de toutes pièces des preuves dans les procès des 21, du , et serait sans doute à l’origine du « suicide » du poète Maïakovski en 1930.