OGPU
Desde 1919, fue miembro del presidium de la Cheka, y cinco años después fue nombrado vicepresidente de su organismo sucesor, la OGPU. Tras la muerte de Félix Dzerzhinski en julio de 1926, Menzhinski se convirtió en presidente de la OGPU. Jugó un gran papel en la conducción de las operaciones secretas de contrainteligencia "Trust" y "Sindikat-2", en el curso de los cuales los jefes de grandes centros antisoviéticos en el extranjero, Borís Sávinkov y Sidney Reilly, fueron atraídos a la Unión Soviética y detenidos.