1919 ordnete ihn die Parteiführung in die neu gegründete „Außerordentliche Kommission“ (russisch abgekürzt: Tscheka), die politische Geheimpolizei, ab. 1921 wurde er in die operative Leitung der Tscheka unter Felix Dserschinski berufen. Er war in dieser Funktion mit der Niederschlagung des Kronstädter Matrosenaufstandes, des Bauernaufstandes von Tambow sowie der Aufdeckung der angeblichen Taganzew-Verschwörung befasst. Agranow hatte zuvor die Hauptangeklagten foltern lassen, ihnen dann aber schriftlich eine milde Bestrafung zugesichert, falls sie ihre Beteiligung an der Verschwörung geständen. Doch wurden mehrere Dutzend Angeklagte durch ein Erschießungskommando exekutiert. Wegen Beteiligung an dieser Verschwörung, die nach Erkenntnissen russischer Historiker eine Erfindung der Tscheka war, um einen Schlag gegen missliebige Intellektuelle zu begründen, wurde auch der Schriftsteller Nikolai Gumiljow erschossen.