Menžinski työskenteli syksystä 1919 alkaen turvallisuuspoliisi Tšekassa, jonka nimi vaihtui myöhemmin OGPU:ksi. Hän oli vuodesta 1923 organisaation varajohtaja ja sen ensimmäisen johtajan Feliks Dzeržinskin kuoltua vuonna 1926 Menžinski kohosi hänen seuraajakseen. Menžinski kuului myös kommunistisen puolueen keskuskomiteaan vuosina 1927–1930. Menžinskin johtajakaudella OGPU järjesti puolueen pääsihteeri Josif Stalinin toiveesta muun muassa Šahty-oikeudenkäyntinä, Teollisuuspuolueen oikeudenkäyntinä ja ”menševikkien liittokeskuksen oikeudenkäyntinä” tunnetut näytösoikeudenkäynnit sekä osallistui maatalouden kollektivisoinnin yhteydessä suoritettuun kulakkien tuhoamiseen. Menžinskiä on luonnehdittu hienostuneeksi ja keikarimaiseksi älyköksi. Hänen on kerrottu muun muassa suorittaneen kuulusteluja silkkisohvalla makoillen.