Después de la muerte de Dzerzhinski en julio de 1926, Yagoda estuvo bajo el mando de Viacheslav Menzhinski, sin embargo, debido a la mala salud de este último, fue Yagoda quien tenía el control verdadero de la policía secreta al final de la década de 1920.