Farmacéutico de profesión, después de la Revolución de Octubre, subió escalafones en la Cheka, la policía secreta anterior a la NKVD, convirtiéndose en el segundo al mando, después de Féliks Dzerzhinski en septiembre de 1923.