Po říjnové revoluci pracoval jako lidový komisař financí. Roku 1919 se stal členem obávané tajné policie Čeky a o pět let později, v roce 1924, místopředsedou OGPU. Po smrti Felixe Dzeržinského v roce 1926 se stal Menžinskij jeho nástupcem. Hrál velkou roli ve vedení kontrašpionážních operací, během kterých zatkl mnoho imperialistických špionů.