Sin embargo, la paranoia de Stalin durante la época de la Gran Purga también alcanzó a Yagoda, ya que el 16 de septiembre de ese mismo año Nikolái Yezhov lo reemplazó en el mando de la policía secreta y en marzo de 1937 el propio Yagoda fue arrestado.